У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Разный результат одного скрипта на разных серверах
-
Столкнулся с "магической" ситуацией. Запускаю BAS на собственном PC, устанавливаю прокси, перехожу на сайт, все происходит успешно как и должно быть.
ТОЧНО такая же версия BAS (последняя) стоит на другом ПК (сервере) и делаю все ТОЧНО ТАКЖЕ (теже прокси, тот же сайт, все точно также) но сайт выдает ошибку типа попробуйте позже... по итогу в network он просто не загружает определенный url (причем никакого http статуса не выдается).Куда смотреть? Где копать? 1 из 10 раз на удаленном ПК сайт загружается как надо и все проходит успешно... раньше все работало 10/10
-
1)Привязка прокси к IP, может у себя на ПК привязал на сервере нет
2)На другом компе другой провайдер, у него маршрут до твоего прокси может быть длинее и скорость твоего прокси будет уже другая
3)может быть что сервак блочит конекты если портов у твоего прокси открыто много, это по типу ворлд микс прокси где 1 ip и 5000 портов редиректов
Причин масса в общем -
@FastSpace про привязку к IP - это все банальные вещи, естественно я это проверил 5 раз уже, что все окей, и прокси РАЗНЫЕ пробовал в том числе. 3 разных Proxy протестировал - везде одна фигня. На одном личном пк работает, на серверном - нет)) пред магический, но имею что имею.. даже нет идей куда смотреть еще
