У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос POST/GET запрос
-
Скажите пожалуйста, возможно ли совместное использование действий "браузера" и "http клиента". К примеру - выполнение браузерной авторизации на ключевом сайте а продолжение необходимых действий уже посредством "http клиента" - get запросы для парсинга по сайту, post запрос для определённых действий от имени авторизованного на сайте через браузер аккаунта . Или же браузер не имеет связи с "http клиентом" и в таком случае необходима http авторизация?
-
а если действие наоборот. Акторизация на нттр а дальше нужен вэб
-
@nephillime said in Вопрос POST/GET запрос:
а если действие наоборот. Акторизация на нттр а дальше нужен вэб
