У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Загрузка страницы, по ссылке из CSV
-
Всех приветствую. Сам я в BAS почти НОЛЬ, посему к вам профи вопрос. Дайте хоть наводку, как реализовать в скрипте загрузку страницы по ссылке, взятой из CSV файла ? Как вставлять на странице, из файла, логин пароль и тд , вроде разобрался, а загрузить страницу (т.е вставить в браузер спарсенную ссылку), ума не приложу как и через какое действие. Подскажите куда копать. Всем заранее спасибо за помощь.
-
@semkovo said in Загрузка страницы, по ссылке из CSV:
Всех приветствую. Сам я в BAS почти НОЛЬ, посему к вам профи вопрос. Дайте хоть наводку, как реализовать в скрипте загрузку страницы по ссылке, взятой из CSV файла ? Как вставлять на странице, из файла, логин пароль и тд , вроде разобрался, а загрузить страницу (т.е вставить в браузер спарсенную ссылку), ума не приложу как и через какое действие. Подскажите куда копать. Всем заранее спасибо за помощь.
Читайте файл в список, или используйте ресурс "из файла", далее строку парсите в переменные действием "парсить строку". И далее используйте полученные переменные.
