Как узнать, что на сайте загрузились базовые элементы и CSS?



  • Прокси могут подлагивать и при выполнении действия Загрузить есть возможность выставлять "Ждать полной загрузки" и "Максимальное время ожидания".

    Но бывает так, что сайт внешне полностью загрузился, а какие-нибудь баннеры/тяжелые элементы/flash/фреймы/скрипты нет, из-за чего действие завершается ошибкой "Таймаут во время выполнения LoadPage", хотя бот мог продолжать работу.

    Как можно было бы обойти эту проблему? Если обернуть в "Игнорировать ошибки", то в случаях не загрузки сайта (белый экран) бот будет продолжать работу, что неверно.
    Можно ли, допустим, завернуть действие загрузки в игнорирование ошибки и в случае ошибки получать данные о том, насколько страница прогрузилась? Например, прогрузились ли все css файлы или какой-нибудь DOMContentLoaded? Как можно хитро было бы понять, что сайт достаточно загрузился без белого экрана, чтобы продолжить работу?



  • @agility Я в таких случаях использую Ждать текст, выбираю какой-то текст, который 100% присутствует на загруженной странице и после этого действия ставлю паузу секунд 5-10, для полной гарантии.



  • @prakash Если страница неизвестная и не знаешь про тексты, есть идеи как обойти?



  • @agility said in Как узнать, что на сайте загрузились базовые элементы и CSS?:

    @prakash Если страница неизвестная и не знаешь про тексты, есть идеи как обойти?

    Ну что-то же должно быть общее на этих страницах, форма входа например или еще что-то. Вы же не просто с потолка рандомные сайты загружаете?



  • https://community.bablosoft.com/topic/5740/помогите-с-логикой

    Я задавался этим вопросом еще давно.



  • @agility После загрузки страницы получать код страницы и проверять через регулярное выражение на наличие определенных элементов кода, которые отображаются на любых страницах.



  • @fastspace Супер!!! Тоже сделал подобную проверку... Пять раз, с перерывом в пять секунд на одном и том же прокси пытается загрузиться страница ya. ru. Если нет, то текущий прокси под удаление и поток заново начинается соответственно с другим прокси, если страница загрузилась и нужный элемент найден - сразу продолжаем выполнение скрипта с хорошим прокси.


Log in to reply