У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Закрываются браузеры сами по себе
-
Чекал 2к номеров все было нормально, решил запустить чеки сейчас. Все что работало тогда, стало работать хуже .
Работает себе спокойно на 1 странице, вставляет данные парсит инфу и меняет данные на сайте. И хз почему браузер просто захлопывается и все, софт отрабатывает типо все худ или же ожидает элемента, но его нет, потому что браузер закрылся
-
Прокси socks5?
-
Ну у меня страницы на соксах вешаются на винде 2012, и соответственно селекторы не может найти. Причем не очевидно как то - вроде первую страницу может нормально загрузить, а потом начинаются подвисоны по 2 минуты ....
На 2019 чуть получше, но то же с подвисонами ... Перешел на хттп, пока вестей не будет от разработчика.
-
@Bigma said in Закрываются браузеры сами по себе:
Ну у меня страницы на соксах вешаются на винде 2012, и соответственно селекторы не может найти. Причем не очевидно как то - вроде первую страницу может нормально загрузить, а потом начинаются подвисоны по 2 минуты ....
Даже если страница загрузилась визуально, это вовсе значит что она загружена нормально. Код браузерных учитывает эту логику.
-
@FastSpace там именно запросы зависают и блочат браузер, видно в дев тулся.
