У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Как ускорить работу скрипта?
-
Добрый вечер! На сайте стоит рукаптча2, которая сбивает всю скорость работы с сайтом. Пробую работать в многопоток (20 потоков) на гурукаптче, но скорость все равно оставляет желать лучшего. Подскажите, какими методами можно решать каптчу быстро и если возможно- дешевого
-
@spark911 Не рукаптча2, а РЕКАПТЧА2.
Чтобы ускорить не нужно ждать когда она будет решена. Достаточно просто вставить готовый токен в скрытые поле. Для этого на стороне запусти решалку каптчей и складывай в текстовик (это простой вариант), а другие потоки пусть черпают оттуда ответ. Валидность ответа всего 2 минуты.
Можно заморочиться и запилить базу данных каптчей с таймером 2 минуты и самоочистку.