В общем... проблема появлялась из-за того, что я ограничивал время ожидания (до 15 сек), после того, как убрал... проблема с загрузкой ушла... Хотя сайт открывается за пару секунд, не понимаю... Почему именно эта настройка вызвала такие проблемы... Ну да ладно, тема в целом закрыта, проблему свою решил методом тыка) Благодарю всех, кто оказывал мне помощь...
Цикл берёт левые данные
-
Приветствую. Мне нужно спарсить урлы видео по запросу в ютубе. Цикл хорошо отрабатывает. Парсит урлы. Но в урлах начинают появляться видео из рекомендованных. И он их тоже парсит. А они не нужны. В списке видео по запросу я не могу их найти что бы отфильтровать каким либо образом. И не могу понять как они появляются что скрипт их видит, а я нет.
Чуть позже сброшу сам скрипт. -
скорее всего в списке видео по запросу их и нет.
перед сохранением проверяй ссылки на наличие их в блеклисте, который состоит только из ссылок на рекомендованные видео. если найдено совпадение с блеклистом, то выводи ручной режим управления браузера и смотри, где что то идет не по плану. -
Вот скрипт https://yadi.sk/d/_jrwZT_Sai4OsQ
-
@moonsoon said in Цикл берёт левые данные:
Подскажите а можно ли как то сохранить страницу и от туда нужные ссылки тольо посохранять? Покидайте ссылки на документацию баса. Сам не могу найти.
Браузер => Код страницы
Для извлечения ссылок из коды страницы лучше подойдет xpath