Bablosoft

Парсинг непрогруженного контента

Поддержка
  • B

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    FoxF 1 Reply
    0
  • FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

    0

  • S

    Твиттер. Парсинг ленты.

    Поддержка
    0 Votes
    5 Posts
    743 Views
    bigoratB

    @searx стукни в телеграм - @bigorat посмотрим

  • Bas_usherB

    Парсинг пользователей на сайте

    Поддержка
    0 Votes
    4 Posts
    1112 Views
    FoxF

    @bas_usher said in Парсинг пользователей на сайте:

    как можно после цикла 2поменять на 3 и т.д

    Используйте переменную - счётчик итераций цикла [[CYCLE_INDEX]]

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1274 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • V

    Парсинг значения времени на сайте.

    Поддержка
    0 Votes
    4 Posts
    1306 Views
    A

    @virkator, там можно кликнуть и выбрать "создать значение в конструкторе". В нем, я думаю, разобраться не сложно будет.

  • venom777V

    Стоп-слова. Парсинг и строки

    Поддержка
    0 Votes
    4 Posts
    2121 Views
    supportS

    @venom777

    Как можно сделать проверку на наличие стоп слов на: странице, в определенном участке на странице? Если стоп-слова заданы в файле и их количество >1000шт. Ну, или сравнить переменную в которой получен никнейм со списком стоп-слов (4к строк), кто-то пробовал?

    Да, я пробовал. Это делается в 2 действия "Ресурс В Список" и "Получить Индекс". Работает на 10 к списке мгновенно
    0_1479039057258_stopwords.xml

    Для того, чтобы проверить наличие слов на странице нужно сначала получить все слова на странице в список, потом сделать проверку в цикле. Если запускать в режиме "Запись", то проверка стоп слов выполняется мгновенно.
    0_1479039804112_stopwords.xml

    Из последнего проекта вы можете сделать функцию и использовать при каждой загрузке страницы.

    Как брать из файла строки мы все знаем, но как можно брать из файла предложения с сохранением форматирования? К примеру, сделать граббер новостей с сайта источника на свой сайт.

    Перед записью новости в файл вы можете кодировать ее в base64, а после чтение раскодировать(все это действием base64)