@sergerdn Спасибо Сергей! Решил проблему с помощью твой наводки.
Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси
-
-
@selector said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
Я так понял оно что делает 20 секунд. Как сожна ето время скоректировать? Что оно делает воопше? пингует прокси? сколько раз? Если роботаю не через ресурс, как оброботать ощибку плохого прокси чтоб знова установить кубик с новими даними?
Оно делает запрос за получением реального ip прокси.
Если хочешь паблик говно отсекать, сначала надо пройтись чекером на валидность этого говна и уже потом басом применять. Вероятность что там дохлое будет снизиться. -
@FastSpace said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@selector said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
Я так понял оно что делает 20 секунд. Как сожна ето время скоректировать? Что оно делает воопше? пингует прокси? сколько раз? Если роботаю не через ресурс, как оброботать ощибку плохого прокси чтоб знова установить кубик с новими даними?
Оно делает запрос за получением реального ip прокси.
Если хочешь паблик говно отсекать, сначала надо пройтись чекером на валидность этого говна и уже потом басом применять. Вероятность что там дохлое будет снизиться.Подключили прокси. Чекаем ip. Проверяем своими методами что это не наша локалка/Public смотря что подключено. Если гут - пускаем поток дальше. Так что ли?
-
@kuzkuz said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@FastSpace said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@selector said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
Я так понял оно что делает 20 секунд. Как сожна ето время скоректировать? Что оно делает воопше? пингует прокси? сколько раз? Если роботаю не через ресурс, как оброботать ощибку плохого прокси чтоб знова установить кубик с новими даними?
Оно делает запрос за получением реального ip прокси.
Если хочешь паблик говно отсекать, сначала надо пройтись чекером на валидность этого говна и уже потом басом применять. Вероятность что там дохлое будет снизиться.Подключили прокси. Чекаем ip. Проверяем своими методами что это не наша локалка/Public смотря что подключено. Если гут - пускаем поток дальше. Так что ли?
Нет, это долго.
На пост гет отдельный чекер пилишь и если гуд отстукиваешь в базу. Из базы основным ботом забираешь гуд прокси. -
@FastSpace said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@kuzkuz said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@FastSpace said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@selector said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
Я так понял оно что делает 20 секунд. Как сожна ето время скоректировать? Что оно делает воопше? пингует прокси? сколько раз? Если роботаю не через ресурс, как оброботать ощибку плохого прокси чтоб знова установить кубик с новими даними?
Оно делает запрос за получением реального ip прокси.
Если хочешь паблик говно отсекать, сначала надо пройтись чекером на валидность этого говна и уже потом басом применять. Вероятность что там дохлое будет снизиться.Подключили прокси. Чекаем ip. Проверяем своими методами что это не наша локалка/Public смотря что подключено. Если гут - пускаем поток дальше. Так что ли?
Нет, это долго.
На пост гет отдельный чекер пилишь и если гуд отстукиваешь в базу. Из базы основным ботом забираешь гуд прокси.-
А как в многопотоке, проблемы нет? Ведь у тебя получается один поток определил ip и все, второй же и дальнейшие не синхронно с первым работают... или вообще отдельным потоком чекаешь?
-
На пост гет отдельный чекер пилишь = что значит чекер?
В моем понимании идет гет запрос на урл который возвращает ip. -
что значит "если гуд". = его же сравнить с локалкой (Public надо), только тогда он становится гуд или false
-
-
@FastSpace Я проще делаю, но это правда для запросов подходит. Ставлю метку, подключаю прокси, через "игнорировать ошибки" отправляю запрос, с максимальным временем ожидания в 5сек. Если прокси не рабочие, либо очень медленные, то будет ошибка и после вывода лога меняем прокси и возвращаемся к метке.
Просто если чекать прокси листы от тех же бестов, то не факт что рабочие прокси через пару секунд продолжат работу. Проще через апи каждые 10 сек брать у них список, а в основном скрипте поставить обновление ресурса с прокси.
Если же используются бэкконект прокси, то там вообще нет смысла в чекере прокси, нужно просто подключать и проверять работают или нет -
-
@selector said in Обясните принцип как роботает кубик прокси(браузер, хттп) при дохлом прокси:
@kuzkuz так скажи конкретнее если знаеш
Я не верно сказал, в кубике гет-запрос можно поставить время ожидания ответа. Я так понимаю туда.
Но я сделал не так. Отправляю запрос, если ошибка ответа, пауза 2 сек и отправляю снова. Зачем ждать больше пока не понял. -
@kuzkuz спс понял. Ну я и поетому спрашивал как идет процес установки прокси, но конкретно через хттп - пинги не идет на ip.bablosoft. Поетому Походу так и правильно делать. если через хттп не роботает, то устанавливаить через браузер нет смысла
