Bablosoft

Скорость парсинга - так и должно быть?

Поддержка
  • F

    По форуму искал, увидел сообщение про антивирус(https://community.bablosoft.com/topic/7918/в-запуске-скрипт-работает-в-7-раз-медленнее). На ПК win10, антивирус вырезан.

    Суть проблемы: Простой парсер берет 4 текстовых блока на странице, склеивает в строку и добавляет в таблицу. С одной страницы получается 50 строк, эти 50 подходов выполняются в цикле (50*4=200).
    Нормально ли что этот процесс занимает в режиме запуска столько же сколько и в режиме отладки? Может надо какую то кнопку нажать, которую я не вижу? 60-70 секунд.
    В режиме отладки нигде затупов нет, каждый кубик выполняется с одинаковой скоростью.

    ? 1 Reply
    0
  • ?

    @fobos Нормально. Просто решение ваше медленное. Лучше парсить или http клиентом, или хотябы получать код страницы, а затем через xpath собирать данные

    1
  • F

    Спасибо за наводку, буду изучать :)

    0

  • Z

    HTTP-Клиент и JS

    Поддержка
    0 Votes
    2 Posts
    478 Views
    ?

    @Zonteak said in HTTP-Клиент и JS:

    Но в HTTP-клиент почему-то это не работает. Как получить в нем переменную из window?

    оО Откуда в http клиенте взяться window? Это часть api браузера

  • diloloD

    Node js и SSH

    Поддержка
    0 Votes
    2 Posts
    522 Views
    FoxF

    @dilolo said in Node js и SSH:

    Допустим шаблон содержит код на ноде и там команды линукса
    При запуске такого когда скрипт отрабатывает сразу и там выскакивает окно Ок
    Но не смотря на это скрипт нода продолжает на сервере делать свое дело
    Вопрос могу ли я закрыть шаблон или должен держать в открытом виде пока нод не закончит работу ?

    Это вы про тот пример, что вам @support прислал? По идее нода может работать асинхронно, но если скрипт завершается, то инстанс ноды тоже завершается. Значит можно закрывать.
    Да и это было бы быстрее проверить самому, чем писать пост на форуме

  • ErickE

    Потоки и Ресурсы

    Поддержка
    0 Votes
    4 Posts
    692 Views
    tet-viviT

    @Erick между "берут данные" и "записывают" скрипт/поток может иметь разную длительность, поэтому то что первым успело то первым и записалось.

    вместо ресурса можно использовать и др. структуры данных

  • P

    CYCLE_INDEX и вложенные циклы

    Поддержка
    0 Votes
    2 Posts
    571 Views
    FoxF

    @Putevka said in CYCLE_INDEX и вложенные циклы:

    Привет всем!
    Есть такой вопрос. Необходимо использовать два и более вложенных цикла (FOR например) и внутри каждого цикла есть необходимость использовать переменную CYCLE_INDEX

    [[COUNT]] = //здесь задается переменная COUNT FOR 0 : COUNT log(CYCLE_INDEX);//выводим в лог значение переменной CYCLE_INDEX //здесь еще какой то код [[NEW_COUNT]] = //здесь задается переменная NEW_COUNT FOR 0 : NEW_COUNT log(CYCLE_INDEX);//выводим в лог значение переменной CYCLE_INDEX //здесь еще какой то код //здесь продолжается код скрипта

    Вопрос.
    Переменная CYCLE_INDEX во вложенном цикле не будет ли перебиваться значениями переменной CYCLE_INDEX из первого цикла?
    Если да, то как этого избежать? Для каждого цикла назначать отдельную переменную CYCLE_INDEX, CYCLE_INDEX_1, CYCLE_INDEX_2 ? И как правильно эо сделать?
    Спасибо.

    Быстрее было попробовать сделать и увидеть результат, чем создавать топик. Или поискать на форуме
    https://community.bablosoft.com/topic/3751/не-корректная-работа-при-использовании-цикла-в-цикле/10

    Что бы реализовать счётчик итераций самому, просто создайте переменную с цифрой перед циклом и увеличивайте её в цикле

  • FastSpaceF

    Помогите с датой и базой данных

    Поддержка
    0 Votes
    13 Posts
    2149 Views
    FastSpaceF

    @denis_krsk Всё я понял :D. Дело в отображении объекта.
    На самом деле это не хорошо, что в базе данных он как объект строка, а в переменной как объект число. Фильтр работает только как объект число. И да - я считаю это багом.