У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос про ошибки (максимальное количество ошибок подряд)
-
Доброго времени!
Мы можем выставить "максимум ошибок" в работе всего скрипта,
а можно ли выставить например, не больше 5ти ошибок подряд!?
- и сразу такой вопрос, например я выставил МАКСИМУМ 100 ошибок, можно сделать так что если скрипт остановился из за 100 ошибок, отправить письмо на почту/телеграмм и т.п. тоесть выполнить одно действие после завершения?
-
@CaptchaLom Можно или вы хотите увидеть готовую реализацию?) Для отправки писем вообще есть готовый экшен.
-
@Denis_krsk понятно что есть экшен, меня интересует, как реализовать..
-
определи признак ошибки; если была ошибка увеличить счетчик ошибок; если ошибки не было обнулить счетчик. если счетчик больше или равно или равно MAX отправить письма и фэйл /прервать скрипт, тоесть действие все же нужно выполнить до завершения
