Bablosoft

Парсинг непрогруженного контента

Поддержка
  • B

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    FoxF 1 Reply
    0
  • FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

    0

  • F

    Парсинг csv строку с использованием notreuse приводит к ошибке

    Поддержка
    0 Votes
    6 Posts
    599 Views
    m4zuperM

    Можете прикрепить тестовый скрипт?

  • E

    Парсинг строки

    Поддержка
    0 Votes
    7 Posts
    536 Views
    tet-viviT

    @Elger CSV стандарт предполагает что кавычки " хранятся/записываются в файл как "".
    тут необработанность и парсера(или нет? лень думать) и того что записывал в файл неформат.

    то что " убрались все при парсинге наглядно видно.

    https://ru.wikipedia.org/wiki/CSV#Спецификация

  • K

    Парсинг Json проблема

    Поддержка
    0 Votes
    2 Posts
    499 Views
    llimonixL

    @Konko said in Парсинг Json проблема:

    $.TopCountryShares

    ответ который получается при получить все значения скорее всего в лог вывести не сможешь, преобразовать в строку и будет вот так
    63c1686c-a7d2-4bef-8eb3-048b5af4070d-image.png

  • T

    Парсинг JSON

    Поддержка
    0 Votes
    14 Posts
    2256 Views
    U

    Приветствую, подскажите где ошибка. Получаю запрос

    response":{"count":100,"items":[{"id":722672745,"last_seen":{"platform":1,"time":1678082482},"first_name":"Oksana","last_name":"Fox","can_access_closed":true,"is_closed":false},{"id":746240798,"last_seen":{"platform":1,"time":1678075652},"first_name":"София","last_name":"Агафонова","can_access_closed":false,"is_closed":true},

    После хочу вытянуть все ид

    var json = JSON.parse(http_client_encoded_content("auto")) VAR_LIST = [] VAR_ZA = parseInt(864000); if ((json.response.items).length-1 > 0){ for (var i = 0; i < ((json.response.items).length-1); i++){ VAR_DNI = parseInt(json.response.items[i].last_seen.time); VAR_RESULT = (VAR_VREMYA - VAR_DNI); if (VAR_RESULT < VAR_ZA) {VAR_LIST.push(json.response.items[i].id);}
  • P

    Парсинг динамического контента при POST/GET запросах.

    Поддержка
    0 Votes
    3 Posts
    1369 Views
    GangG

    Снифай запросы. При динамической подгрузке страницы, там появляются новые запросы. В ответ обычно приходит json