@smeckoi77 Благодарю, все не как не мог найти решение, желаю удачного дня!
как проверить загрузку сайта
-
-
@Foppy если загрузка сайта или какого-то запроса позволяет делать ее через ХТТП клиент то можно так попробовать, елси же через ХТТП клиент не работатет то можно загружать через браузер с ожиданием полной загрузки(или элемента что указывает на то что сайт лежит). В случае с ожиданием полной загрузки оборачиваем ее в Игнор ошибок и там делаем логику потворения загрузки с новими прокси, в случаее дожидания нужного элемента тоже самое только игнор ошибок уже тут ставим. Вобшем вариантов не мало как это сделать.
-
@hvrsh , как раз обернул в ошибку и если ошибка, то лог и загрузка по новой, но почему то скрипт просто побежал далее. Сайт по разному не грзуит...
В этом еще проблема, плюс с первой заглушки подцепиться немного трудновато, хотя по тексту можно, но как далее при выполнение запросов к сайту или загрузки других страниц если он резко свалится? На каждый запрос и загрузку вешать обработку ошибок. До конца не понял как оно работает.
Я понимаю, вопрос примитивен, но для меня оказался сложный :D
думал по заголовкам цеплять, но сайт падает по разному, бывает браузер не отображает его вообще или с ошибкой "не удалось загрузить страницу" -
Была идея по статусу проверять, но я неуверен, что это верное решение по 200 коду определять загрузку.
И в какой-то момент оно может подвести. Можно было бы по урл патчу цепануться так как первая страница - это заглушка, но что делать если при действие далее сайт свалится ? -
@Foppy said in как проверить загрузку сайта:
но почему то скрипт просто побежал далее.
Побежать дале он может только в одном случае если условие ошибки False тоесть ее нету.
Может легче пойти от обратного и повысить качество прокси в общем или делать предварительный грубый чек, можно даже отдельным софтм, а потом уже пихать прокси туда куда нужно те что прошли. Иногда варинтов может быть не сощитать как сайт упадет, и то что ты увидишь в софте никогда бы не увидел в обычном использовании.
Загружайте сайт с девтулом, ищите запрос который сможет явно указать что с этой проксей лучше не работать, пробуйте провернуть его же через ХТТП клиент.На дерьмовых расходниках можно годами скрипт допиливать чтобы обработать все ошибки которые где-то могут выскочить.
-
@hvrsh проблема в том, что сайт может упасть при любом запросе и его надо повторить. Я к этому, то есть к картинке не получится цепануться тоже. Только что читал топик с таким решением. Проблема в том, что надо каждый запрос проверять и если ошибка, то его по новой выполнять надо. Это может быть загрузка страницы или отправка сообщения.
С проксей проблема только если сам сайт заблокирует и будет выкидывать ошибку. Но при этом сайт может сам упасть, чаще не из-за проксей падает. Это как доп.вариант чтобы софт окончательно не встал в цикле, а шел далее. В моем случаи проще обновить прокси будет, чем узнавать из-за нее проблема или нет.@FastSpace said in как проверить загрузку сайта:
@Foppy https://developer.mozilla.org/ru/docs/Web/API/Document/readyState
Интересно, это из заголовка брать надо? Но опять же если будем проверять с помощью != , то как определить, что сайт то упал/не загрузился, там только варианты ожидание загрузки и уже загружен. Или предлагаете ставить таймер на ожидание и если нет - запрашивать новую проксю и обновлять страницу?
-
Вообщем да, сделал через игнорирование ошибки и обработку ее. Но, странность, что первый раз это решение не сработало. Видимо я криворукий немного.
Поставил засыпать перед сменой прокси и далее опять пробую грузить страницу. Бывает сайт тупо лежит и все пропускается, но думаю при тестах не страшно. Позже добавлю цикл в обработку ошибки и сделаю сон чуть дольше перед сменой прокси и загрузкой сайта.
Если у кого есть проще решение - буду благодарен!
