Забивает память?
-
Есть сайт, где видео лента загружается скролингом. То есть, изначально при входе на сайт он выдает 20 виделроликов в ленту, а по мере скролинга добавляет еще 20 и т д.
Задача спарсить все сслыки на видео.
Проблема: при прокрутке до 800-1000 видео БАС тупо тормозит, как будто забивеат память. видео 17000шт. как спарсить все видео, длина которых больше 10минут?
-
Если Вас не затруднит, дайте ссылку на Ваш сайт.
-
-
@Sabo а из какой страны доступно ? у меня чето не сразу ошибки - самсинг вент ронг
-
@DuckDuck Ukraine
-
@Sabo
Я только что проверил сайт, и есть еще один способ решить проблему.
Вы можете использовать HTTP-запрос.
Вы можете увидеть следующий демонстрационный проект.
GetLink.xmlЯ просто получаю данные "ID" видео.
А ссылку на это видео вы легко узнаете: https://earneo.tube/video/ID
-
@BAS-Viet-Nam спасибо.
как отрыть этот проект в БАС? GetLink.xml
-
@Sabo
Вы можете использовать следующую ссылку
https://www.file.io/f2EX/download/OVgE3WM4sft8
Просто скачайте и откройте его.
-
@BAS-Viet-Nam так же мне нужно знать какая длина каждого из видео. вот я не понимаю почему БАС зависает? мне нужно спарсить только видео длиннее 10 минут. как это зделать?
-
@Sabo Надеюсь, в следующий раз, если вы захотите что-то спросить, укажите полные требования.
-
@BAS-Viet-Nam извините
-
@Sabo said in Забивает память?:
Есть сайт, где видео лента загружается скролингом. То есть, изначально при входе на сайт он выдает 20 виделроликов в ленту, а по мере скролинга добавляет еще 20 и т д.
Задача спарсить все сслыки на видео.
Проблема: при прокрутке до 800-1000 видео БАС тупо тормозит, как будто забивеат память. видео 17000шт. как спарсить все видео, длина которых больше 10минут?А в обычном браузере поведение идентичное? Вы кстати можете просто удалять элементы после того как спарсили их
https://community.bablosoft.com/topic/15092/как-удалить-элемент-div-elementid-которого-генерируется-динамически/6
-
@Fox благодаврю за ответ.
В обычном не пробывал. сейчас попробую.
Я елементы еще не паршу, я просто прокручиваю страницу в самый конец, что бы потом парсить нужные мне по длине видео. но старница , как я описал выше, докручиватся максимум до 1000 видео, и то с таким трудом как будто оперативки килобайты... может причина не в памяти, хз.
-
@Sabo said in Забивает память?:
@BAS-Viet-Nam так же мне нужно знать какая длина каждого из видео. вот я не понимаю почему БАС зависает? мне нужно спарсить только видео длиннее 10 минут. как это зделать?
Для веб-сайтов с бесконечной прокруткой вам придется потреблять много системных ресурсов по сравнению с другими веб-сайтами, поэтому чем больше вы прокручиваете, тем медленнее будет работать BAS.
Этот демонстрационный скрипт поможет вам отфильтровать видео продолжительностью более 10 минут.
GetLink 2.xml
-
Фактически, на данный момент на сайте всего 14709 музыкальных клипов.
И вам нужно только прокрутить 736 страниц, если вы используете браузер :(
-
@BAS-Viet-Nam @Fox спасибо за советы. проблема в сайте. сайт не отдает иформацию, или отдает слишком долго из за чего скрипт крашится. в обычном браузере происходит то же самое - страница с сайтом тупит и не реагирует. похоже ети все видео страница кешит, из за чего тупит. какие видите решение что бы в короткое время решить задачу? скроилить неделю?!
-
@BAS-Viet-Nam я думаю, как вариант испытать ваш скрипт, что вы мне давали раньше на HTTP запросах. спарсить все видео без исключения, а потом открыть каждое видео и смотреть длину.
не могли бы вы мне снова дать тот скрипт на HTTP?
может другие идеи для решения єтой задачи?
