Отключите все лишнее на целевой странице если она одна, это реально сделать - например скрипты всяких фейсбуков, сторонней аналитики и так далее. Обычно сервесы используют много сторонних скриптов, которые не влияют на работу сайта, но сильно нагружают проц.
Смотрите как идет распределение нагрузки - возможно оно не сплашное, а пиками - тогда можно попробовать запускать потоки более равномерно. Чтоб избегать этих пиков.
Чаще всего можно отрисовку снизить вплоть до 10 (ну 20) .... На загрузку проца, это как раз сильно влияет.
Если сервер свой и без видюхи, то стоит поставить в него видюху.
50 в нынешних условиях для баса с браузером, достаточно много. Можно попробовать разбить на несколько копий баса по 25 например.
Можно использовать рам диск для работы с профилями - но это уже продвинутый уровень.
Скорость парсинга - так и должно быть?
-
По форуму искал, увидел сообщение про антивирус(https://community.bablosoft.com/topic/7918/в-запуске-скрипт-работает-в-7-раз-медленнее). На ПК win10, антивирус вырезан.
Суть проблемы: Простой парсер берет 4 текстовых блока на странице, склеивает в строку и добавляет в таблицу. С одной страницы получается 50 строк, эти 50 подходов выполняются в цикле (50*4=200).
Нормально ли что этот процесс занимает в режиме запуска столько же сколько и в режиме отладки? Может надо какую то кнопку нажать, которую я не вижу? 60-70 секунд.
В режиме отладки нигде затупов нет, каждый кубик выполняется с одинаковой скоростью.
