Переходите на http клиент и работайте через GET/POST запросы. Полная эмуляция браузера - тяжелый процесс, поэтому и лаги возникают. У меня тоже комп с 12 ядерным ryzen и 32 гб оперативы не вывозит больше 15-25 браузеров. http клиент если грамотно им пользоваться по словам разработчиков может выдерживать до 2000 потоков. Я запускал 100 потоков через http клиента и нагрузка на процессор была в районе 1%.
Получение текста работает медленно
-
Писал небольшой скрипт для скраппинга комментов в инсте в ходе которого в цикле получаю текст каждого элемента по CSS-селектору, однако даже в режиме "запуска" сбор текста идет достаточно медленно (к примеру самый крупный пост с 4000 комментов занял 56 минут на прогрузку всех комментов + их перетягивание в эксель).
Вопрос - есть ли более эффективные методы извлечения текста со страницы инструментарием БАСа, в каком направлении двигаться/что изучать дальше для повышения эффективности данной задачи. -
Твоё решение проблемы
https://developer.mozilla.org/ru/docs/Web/API/Document/evaluate
Использовать в кубике яваскрипт. -
@Enerjust использовать запросы или кэш браузера, это будет гораздо быстрей и эффективней
