Bablosoft

Вывод скорости парсинга

Поддержка
  • D

    Как посчитать скорость работы парсинга, имея счетчик, который показывает сколько строк обработано в данный момент (обновляется раз в секунду)?

    Глобальная переменная COUNT
    Нужно получить SPEED в минуту и положить в глобальную переменную

    FoxF 1 Reply
    0
  • FoxF

    @dmitr said in Вывод скорости парсинга:

    Как посчитать скорость работы парсинга, имея счетчик, который показывает сколько строк обработано в данный момент (обновляется раз в секунду)?

    Глобальная переменная COUNT
    Нужно получить SPEED в минуту и положить в глобальную переменную

    Лучше используйте действия "Дата Сейчас" и "Разница Между Датами"

    fa119e41-1afe-4f91-8853-773821d26f9f-изображение.png

    1

  • Г

    версия 29.3.1 ошибка парсинга апворка

    Поддержка
    0 Votes
    4 Posts
    388 Views
    DrPrimeD

    @Гораций да

  • B

    выжимка скорости

    Поддержка
    0 Votes
    1 Posts
    181 Views
    No one has replied
  • D

    Вывод всех действий из консоли браузера, в переменную или лог BAS

    Поддержка
    0 Votes
    3 Posts
    555 Views
    D

    @Q_Q К сожалению через node.js и ws модуль не могу конектится к сокету т.к там каждый раз создаётся уникальная ссылка для нового пользователя, а объект который её создаёт определить для меня трудно сайт написан на react + obfurscator. Плюс к этому ещё и в самом ws внутри нужно каждые 5 минут отправлять токен аутентификации который генерирует какая-то анонимная функция либо вообще на сервере. Вроде ещё как можно сделать обёртку или сделать прокси чтобы свои обработчики повесить но это уже вообще темный лес для меня недостижимый. Поэтому пришлось использовать такой костыль. В Принципе все работает, ws команды я отправляю также через Ява скрипт и взаимодействую с этим сайтом быстро не используя веб интерфейс сайта вообще. Единственная проблема это видеть всю консоль не только в режиме отладчика. Я думал может в BAS есть какой-то свой способ о котором я не знаю, просто парсить ее в переменную бесконечно каждый раз обращаясь к ней и записывая последнее действие по умолчанию

  • Z

    Синхронизация парсинга и прокрутки

    Поддержка
    0 Votes
    2 Posts
    528 Views
    FoxF

    @Zack9 said in Синхронизация парсинга и прокрутки:

    Подскажите, на сайте хорошая защита, на запросах не могу сделать, не знаю как хеши разбирать, классы все рандомизированы, сложно xpath подобрать, так ещё overflow hidden скрывает элементы если они не в видимости экрана.

    Есть в басе какая-то автоматическая возможно парсинг и прокрутку синхронизировать или нужно выполнять каждый цикл и самому прокрутку добавлять? Но тогда не пойму, как сделать чтобы точно ровно шло, может прокрутка будет отставать или наоборот.
    Или есть ещё какие варианты в таком случае?

    Используйте цикл и действие "Прокрутка К Элементу"

  • P

    Как экспортировать результаты парсинга в базу данных(MSAccess, MySQL)?

    Moved Поддержка
    0 Votes
    4 Posts
    1046 Views
    uraabkU

    @parsser да. Нужный модуль можно найти тут - https://www.npmjs.com, а затем подключить его в Басе.