У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Переход по урл занимает до 200 секунд, что я делаю не так?
-
Добрый день.
Подскажите, пожалуйста, софт переходит по урл.
Далее в "игнорировать ошибки", обернуты следующие кубики
-- ждать полной загрузки
-- получить адреса браузерачастенько получаемый адрес вкладки=chrome-error://chromewebdata/=
софт считает и выводит в лог сколько ушло секунд, иногда получаются такие цифры
242 <== столько времени ушло на определение урл
что я делаю не так? ЗАДАЧА - получить адрес страницы (т.е. вообще мы его заранее знаем, перед переходом, но надо убедиться что это действительно он), ну а нет так нет, плохо конечно, но вот такие задержки по 200сек не очень хорошо. спасибо -
-
@GameBot said in Переход по урл занимает до 200 секунд, что я делаю не так?:
GET запрос
Следовать переадресациям
"Текущий URL"Нет. Был совершен клик по ссылке на сайте.
Т.е. открывается новая вкладка и нам нужно определить какой урл открылся. -
@FastSpace said in Переход по урл занимает до 200 секунд, что я делаю не так?:
@kuzkuz Через бестов и хайд ми переходишь?
Это не понял.
-
@denanotherday said in Переход по урл занимает до 200 секунд, что я делаю не так?:
@kuzkuz said in [плохо конечно, но вот такие задержки по 200сек не очень хорошо. спасибо
Поставь таймаут, будут задержки меньше.
Вы о том что можно принудительно указать сколько ожидать ответа на действие?
-
@GameBot said in Переход по урл занимает до 200 секунд, что я делаю не так?:
@kuzkuz said in Переход по урл занимает до 200 секунд, что я делаю не так?:
Был совершен клик по ссылке на сайте.
А что мешает получить ссылку и проделать с ней описанное действие?
Можно я не буду отвечать на ваш вопрос. Я задал вопрос и если кто то сможет помочь/подсказать буду очень признателен. Мне не понятно от куда ожидание 2х ответов (на 2 кубика) затягивается на 200сек
