Забивает память?

[Sabo]

Есть сайт, где видео лента загружается скролингом. То есть, изначально при входе на сайт он выдает 20 виделроликов в ленту, а по мере скролинга добавляет еще 20 и т д.
Задача спарсить все сслыки на видео.
Проблема: при прокрутке до 800-1000 видео БАС тупо тормозит, как будто забивеат память. видео 17000шт. как спарсить все видео, длина которых больше 10минут?

[BAS Viet Nam]

Если Вас не затруднит, дайте ссылку на Ваш сайт.

[Sabo]

@BAS-Viet-Nam https://earneo.tube/categories/music

[DuckDuck]

@Sabo а из какой страны доступно ? у меня чето не сразу ошибки - самсинг вент ронг

[Sabo]

@DuckDuck Ukraine

[BAS Viet Nam]

@Sabo
Я только что проверил сайт, и есть еще один способ решить проблему.
Вы можете использовать HTTP-запрос.
Вы можете увидеть следующий демонстрационный проект.
GetLink.xml

Я просто получаю данные "ID" видео.
А ссылку на это видео вы легко узнаете: https://earneo.tube/video/ID

[Sabo]

@BAS-Viet-Nam спасибо.
как отрыть этот проект в БАС? GetLink.xml

[BAS Viet Nam]

@Sabo
Вы можете использовать следующую ссылку
https://www.file.io/f2EX/download/OVgE3WM4sft8
Просто скачайте и откройте его.

[Sabo]

@BAS-Viet-Nam так же мне нужно знать какая длина каждого из видео. вот я не понимаю почему БАС зависает? мне нужно спарсить только видео длиннее 10 минут. как это зделать?

[BAS Viet Nam]

@Sabo Надеюсь, в следующий раз, если вы захотите что-то спросить, укажите полные требования.

[Sabo]

@BAS-Viet-Nam извините

[Fox]

@Sabo said in Забивает память?:

Есть сайт, где видео лента загружается скролингом. То есть, изначально при входе на сайт он выдает 20 виделроликов в ленту, а по мере скролинга добавляет еще 20 и т д.
Задача спарсить все сслыки на видео.
Проблема: при прокрутке до 800-1000 видео БАС тупо тормозит, как будто забивеат память. видео 17000шт. как спарсить все видео, длина которых больше 10минут?

А в обычном браузере поведение идентичное? Вы кстати можете просто удалять элементы после того как спарсили их
https://community.bablosoft.com/topic/15092/как-удалить-элемент-div-elementid-которого-генерируется-динамически/6

[Sabo]

@Fox благодаврю за ответ.
В обычном не пробывал. сейчас попробую.
Я елементы еще не паршу, я просто прокручиваю страницу в самый конец, что бы потом парсить нужные мне по длине видео. но старница , как я описал выше, докручиватся максимум до 1000 видео, и то с таким трудом как будто оперативки килобайты... может причина не в памяти, хз.

[BAS Viet Nam]

@Sabo said in Забивает память?:

@BAS-Viet-Nam так же мне нужно знать какая длина каждого из видео. вот я не понимаю почему БАС зависает? мне нужно спарсить только видео длиннее 10 минут. как это зделать?

Для веб-сайтов с бесконечной прокруткой вам придется потреблять много системных ресурсов по сравнению с другими веб-сайтами, поэтому чем больше вы прокручиваете, тем медленнее будет работать BAS.
Этот демонстрационный скрипт поможет вам отфильтровать видео продолжительностью более 10 минут.
GetLink 2.xml

[BAS Viet Nam]

Фактически, на данный момент на сайте всего 14709 музыкальных клипов.
И вам нужно только прокрутить 736 страниц, если вы используете браузер :(

[Sabo]

@BAS-Viet-Nam @Fox спасибо за советы. проблема в сайте. сайт не отдает иформацию, или отдает слишком долго из за чего скрипт крашится. в обычном браузере происходит то же самое - страница с сайтом тупит и не реагирует. похоже ети все видео страница кешит, из за чего тупит. какие видите решение что бы в короткое время решить задачу? скроилить неделю?!

[Sabo]

@BAS-Viet-Nam я думаю, как вариант испытать ваш скрипт, что вы мне давали раньше на HTTP запросах. спарсить все видео без исключения, а потом открыть каждое видео и смотреть длину.
не могли бы вы мне снова дать тот скрипт на HTTP?
может другие идеи для решения єтой задачи?