Прокси



  • Смотрел на вики как делать, но не получается. Подскажите, нужно что бы при неудачно загрузке страницы (например из за плохого прокси) он брал следующее прокси. Как это реализовать. Тыкните, пожалуйста, носом, что бы увидел. Спасибо.



  • @chelovek
    0_1479674604818_proxy.xml
    Вот заготовка для скрипта. Берет прокси, загружает сайт, если не загружается, начинается цикл, в котором берется новый прокси. Цикл работает до того момента, пока прокси не будет рабочим



  • @DrPrime А если, допустим, во время работы скрипта, прокси на какой-нибудь странице со временем возьмет да и откажет, что можете посоветовать в такой ситуации?



  • @DrPrime said in Прокси:

    @chelovek
    0_1479674604818_proxy.xml
    Вот заготовка для скрипта. Берет прокси, загружает сайт, если не загружается, начинается цикл, в котором берется новый прокси. Цикл работает до того момента, пока прокси не будет рабочим

    Не ставьте людей в заблуждение, в текущих реалиях прокси не изменится пока не завершится поток, ресурс берет значения только во время запуска. В ресурс лучше сделать строку в которой указывать путь к прокси, а уже в самом скрипте самому контролировать прокси, например создать функцию, которую подгружать каждый раз во время переходов и проверять работу прокси, в случае не успеха, удалять прокси из файла и брать новый. Другого способа пока не знаю.



  • @ilekor said in Прокси:

    текущих реалиях

    Не совсем понял...
    Я делал так: список прокси в файле. В скрипте загрузку страницы оборачиваем в игнорирование ошибок. Если страница не загрузилась берем прокси заново из файла.

    Если уж такой проект, что используются паблик прокси, то придется заморочиться и сделать такую проверку при каждой загрузке страницы.



  • @ilekor Вы смотрели проэкт? В этлм проэкте проки меняется без завершения потока. Текущие реалии - это скорее всего не до конца освоенный Вами софт.



  • @LAST Если прокси настолько плохи, придется для каждой загрузки страницы делать это. Но это приведет к тому, что сайты могут плохо относится к тому что ip резко сменился, но не все



  • @DrPrime said in Прокси:

    @ilekor Вы смотрели проэкт? В этлм проэкте проки меняется без завершения потока. Текущие реалии - это скорее всего не до конца освоенный Вами софт.

    Именно ваш я и брал для теста, что в конечном счете прокси всегда один и тот же в текущем запущенном потоке и смениться согласно логике он сможет только если поток перезапустится

    0_1479738815724_1479674604857-proxy.xml



  • @ilekor пересмотрите внимательно мой проэкт и найдите одно отличие, кроме сайта загрузки. Подсказка. Различие в цикле в экшене прокси



  • @DrPrime я ничего не увидел, прокси всегда одинаковы, не сбрасываются циклом в ресурсе



  • @chelovek

    Подскажите, нужно что бы при неудачно загрузке страницы (например из за плохого прокси) он брал следующее прокси. Как это реализовать. Тыкните, пожалуйста, носом, что бы увидел. Спасибо.

    Если прокси отказывает, поток завершает работу и тут же перезапускается, так что вам достаточно выставить максимальное количество удач/неудач потока.

    Если на каком-то этапе, вы не хотите, чтобы поток перезапускался(зарегистрирована почта, получен номер телефона), можете просто обернуть действия в "Игнорировать Ошибки" и менять прокси, в случае ошибок.

    Не ставьте людей в заблуждение, в текущих реалиях прокси не изменится пока не завершится поток, ресурс берет значения только во время запуска. В ресурс лучше сделать строку в которой указывать путь к прокси, а уже в самом скрипте самому контролировать прокси, например создать функцию, которую подгружать каждый раз во время переходов и проверять работу прокси, в случае не успеха, удалять прокси из файла и брать новый. Другого способа пока не знаю.

    Прокси можно поменять в течении работы потока если убрать галку "Повторное использование"

    0_1479746803982_ProxyReuse.png



  • @ilekor обрати внимание на стрелочку в картинке выше



  • Ребят, реально не заметил этот момент, спасибище огромное


Log in to reply