У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Failed to connect по одному урлу
-
Есть у кого проблема с многочисленными соединениями к одному сайту?
Если запускаю несколько программ (а может и просто если много потоков) итого потоков 2000-3000-4000 и все ходят на один сайт, от сайта понятно иногда приходит 502 что он устал, но это не проблема, проблема на скрине, сам БАС закрывает поток, потому что не может соединиться, как бороться?
-
Так сайт может элементарно выставить лимит подключений по хттп. Такое количество потоков сопоставимо с типа "ДДОС" - хттп флуд. Вот сайт и может отсекать потоки. Это логично. Эсли бы это не делать, то будет перерасход ресурсов сайта и его зависание. Если апачи или нджинкс неправильно настроены, то при 30+ потоках можно завалить сайт
-
@seedgg нет, сайт возвращает http ошибку или как-то еще сбрасывает соединение, "address already in use" явно не сайт пишет, а тот комп на котором работает BAS.
Тем более что сайт свой и количество коннектов держит и апач или нжинкс настроен правильно.
Решение костыльное, сделал поддомены разные и каждой копии BAS указал свой поддомен - никаких address in use пока что не было.
-
@zarabotno увы проблема актуальная, наверное, дело в басе
-
This post is deleted!
