У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
[Сделано]Вопрос по работе с потоками
-
@support said in Вопрос по работе с потоками:
разу создаем макс количество потоков, но без браузера(эту возможность я обеспечу).
Я так понял это просто удалить 1 строку из initialize?
section_start("Initialize", 0)!
-> ЭТУ browser()!
section_end()! -
@support а реально ли вообще сделать такую штуку как настоящий браузер? Я имею ввиду, что запускаешь скрипт, он допустим авторизовывается и дает управление в твои руки, и ты пользуешься браузером как обычным хромом.
В некоторых ситуациях это было бы очень даже кстати.
-
Переключение на ручное управление помогло бы вот с этим http://prnt.sc/cwnwsp
-
@UlybnisJe В новой версии доступны 2 новых действия Открыть браузер и Закрыть браузер. Если хотя бы одно из них использовано - это значит, что разработчик управляет жизнью браузера самостоятельно. Перед загрузкой любой страницы браузер нужно открыть, тогда, когда нужно сохранить память его можно закрыть.