как проверить загрузку сайта

[Foppy]

Как проверить загрузился сайт или он лежит?
Надо чтобы при каждом запросе к сайту была проверка и если падает, то повторить загрузку страницы или запроса.
Делать 3-4 попытки если не удалось - менять прокси

[hvrsh]

@Foppy если загрузка сайта или какого-то запроса позволяет делать ее через ХТТП клиент то можно так попробовать, елси же через ХТТП клиент не работатет то можно загружать через браузер с ожиданием полной загрузки(или элемента что указывает на то что сайт лежит). В случае с ожиданием полной загрузки оборачиваем ее в Игнор ошибок и там делаем логику потворения загрузки с новими прокси, в случаее дожидания нужного элемента тоже самое только игнор ошибок уже тут ставим. Вобшем вариантов не мало как это сделать.

[Foppy]

@hvrsh , как раз обернул в ошибку и если ошибка, то лог и загрузка по новой, но почему то скрипт просто побежал далее. Сайт по разному не грзуит...
В этом еще проблема, плюс с первой заглушки подцепиться немного трудновато, хотя по тексту можно, но как далее при выполнение запросов к сайту или загрузки других страниц если он резко свалится? На каждый запрос и загрузку вешать обработку ошибок. До конца не понял как оно работает.
Я понимаю, вопрос примитивен, но для меня оказался сложный :D
думал по заголовкам цеплять, но сайт падает по разному, бывает браузер не отображает его вообще или с ошибкой "не удалось загрузить страницу"

[Foppy]

Была идея по статусу проверять, но я неуверен, что это верное решение по 200 коду определять загрузку.
И в какой-то момент оно может подвести. Можно было бы по урл патчу цепануться так как первая страница - это заглушка, но что делать если при действие далее сайт свалится ?

[hvrsh]

@Foppy said in как проверить загрузку сайта:

но почему то скрипт просто побежал далее.

Побежать дале он может только в одном случае если условие ошибки False тоесть ее нету.
Может легче пойти от обратного и повысить качество прокси в общем или делать предварительный грубый чек, можно даже отдельным софтм, а потом уже пихать прокси туда куда нужно те что прошли. Иногда варинтов может быть не сощитать как сайт упадет, и то что ты увидишь в софте никогда бы не увидел в обычном использовании.
Загружайте сайт с девтулом, ищите запрос который сможет явно указать что с этой проксей лучше не работать, пробуйте провернуть его же через ХТТП клиент.

На дерьмовых расходниках можно годами скрипт допиливать чтобы обработать все ошибки которые где-то могут выскочить.

[hvrsh]

@Foppy Так же в басе (может вы не знали) есть робота с визуальными элементами тоесть можно ждать нужной картинки. Может вам бы это подошло. Не знаю думали ли вы об этом.

[FastSpace]

@Foppy https://developer.mozilla.org/ru/docs/Web/API/Document/readyState

[Foppy]

@hvrsh проблема в том, что сайт может упасть при любом запросе и его надо повторить. Я к этому, то есть к картинке не получится цепануться тоже. Только что читал топик с таким решением. Проблема в том, что надо каждый запрос проверять и если ошибка, то его по новой выполнять надо. Это может быть загрузка страницы или отправка сообщения.
С проксей проблема только если сам сайт заблокирует и будет выкидывать ошибку. Но при этом сайт может сам упасть, чаще не из-за проксей падает. Это как доп.вариант чтобы софт окончательно не встал в цикле, а шел далее. В моем случаи проще обновить прокси будет, чем узнавать из-за нее проблема или нет.

@FastSpace said in как проверить загрузку сайта:

@Foppy https://developer.mozilla.org/ru/docs/Web/API/Document/readyState

Интересно, это из заголовка брать надо? Но опять же если будем проверять с помощью != , то как определить, что сайт то упал/не загрузился, там только варианты ожидание загрузки и уже загружен. Или предлагаете ставить таймер на ожидание и если нет - запрашивать новую проксю и обновлять страницу?

[Foppy]

Вообщем да, сделал через игнорирование ошибки и обработку ее. Но, странность, что первый раз это решение не сработало. Видимо я криворукий немного.

Поставил засыпать перед сменой прокси и далее опять пробую грузить страницу. Бывает сайт тупо лежит и все пропускается, но думаю при тестах не страшно. Позже добавлю цикл в обработку ошибки и сделаю сон чуть дольше перед сменой прокси и загрузкой сайта.

Если у кого есть проще решение - буду благодарен!