У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос по процессам
-
Почему процессы всё открываются и открываются. Запущено всего 300 потоков.
Была ли у вас такая проблема? С чем было связано?
-
Это на гетах?
-
@RoselieDesa где тестовый проект где можно увидеть эту проблему?
-
@Bigma Нет, браузер, эмуляция
-
@RoselieDesa всего 300 на браузерах - это сильно, вкладку проца покажите...
-
Вы небось вкладки открываете, а вот закрыть забываете, потому от времени они накапливаются и грузят сервер.
Тут подобные темы каждую неделю.
-
-
@RoselieDesa ну для вашего проца норм нагрузка, вон ещё и запас есть егегей...
-
@tet-vivi на хроме один браузер - 5 процессов или 4. Без доп вкладок, на 300 потоков соответственно 1200 - 1500 минимум... У него 900, вывод какой?
-
@FastSpace на втором скрине 900 но не суть. В любом случае норм.
-
@FastSpace Вырубил софт на 4000 процессах.
-
@RoselieDesa запусти на малом количестве потоков, скажем на двадцати - посмотри что работает стабильно например, как задумано, ошибки не сыпит, отрабатывает до конца ? сколько при этом процессов будет ?
а дальше увеличивай кратно, если ок, дальше ... -
@RoselieDesa 1 поток может создавать до 20, у меня в грелке бывает 8 вкладок открыто, там много процессов
-
This post is deleted!
