У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос по функции "Ждать полной загрузки"
-
Заметил, что при включенной настройке "Ждать полной загрузки" само ожидание длится секунды на 4 больше чем загрузка самой страницы. Это особенно заметно если после клика по элементу сама страница не загружается, а загружается только небольшой выпадающий список на уже загруженной странице.
По этому поводу меня волнует не столько само ожидание, сколько вопрос: не спалит ли меня сайт если заметит, что я постоянно жду после нажатия на кнопку, ведь такое поведение очень не похоже на человеческое.
-
@simpleuser Спасибо. А если элемент уже присутствует на странице? Такое бывает, например, в сокращателях ссылок, когда сокращенная ссылка появляется в том же поле, что и введенная длинная.