Как узнать, что на сайте загрузились базовые элементы и CSS?
-
Прокси могут подлагивать и при выполнении действия Загрузить есть возможность выставлять "Ждать полной загрузки" и "Максимальное время ожидания".
Но бывает так, что сайт внешне полностью загрузился, а какие-нибудь баннеры/тяжелые элементы/flash/фреймы/скрипты нет, из-за чего действие завершается ошибкой "Таймаут во время выполнения LoadPage", хотя бот мог продолжать работу.
Как можно было бы обойти эту проблему? Если обернуть в "Игнорировать ошибки", то в случаях не загрузки сайта (белый экран) бот будет продолжать работу, что неверно.
Можно ли, допустим, завернуть действие загрузки в игнорирование ошибки и в случае ошибки получать данные о том, насколько страница прогрузилась? Например, прогрузились ли все css файлы или какой-нибудь DOMContentLoaded? Как можно хитро было бы понять, что сайт достаточно загрузился без белого экрана, чтобы продолжить работу?
-
@agility Я в таких случаях использую Ждать текст, выбираю какой-то текст, который 100% присутствует на загруженной странице и после этого действия ставлю паузу секунд 5-10, для полной гарантии.
-
@prakash Если страница неизвестная и не знаешь про тексты, есть идеи как обойти?
-
@agility said in Как узнать, что на сайте загрузились базовые элементы и CSS?:
@prakash Если страница неизвестная и не знаешь про тексты, есть идеи как обойти?
Ну что-то же должно быть общее на этих страницах, форма входа например или еще что-то. Вы же не просто с потолка рандомные сайты загружаете?
-
https://community.bablosoft.com/topic/5740/помогите-с-логикой
Я задавался этим вопросом еще давно.
-
@agility После загрузки страницы получать код страницы и проверять через регулярное выражение на наличие определенных элементов кода, которые отображаются на любых страницах.
-
@fastspace Супер!!! Тоже сделал подобную проверку... Пять раз, с перерывом в пять секунд на одном и том же прокси пытается загрузиться страница ya. ru. Если нет, то текущий прокси под удаление и поток заново начинается соответственно с другим прокси, если страница загрузилась и нужный элемент найден - сразу продолжаем выполнение скрипта с хорошим прокси.
