Bablosoft

Парсинг непрогруженного контента

Поддержка
  • B

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    FoxF 1 Reply
    0
  • FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

    0

  • M

    Парсинг JSON

    Поддержка
    0 Votes
    2 Posts
    423 Views
    gurkin4G

    @Mrx08 "Получить подстроку между"
    "text":"
    и
    "

  • M

    Парсинг с авторизацией

    Поддержка
    0 Votes
    24 Posts
    2563 Views
    P

    @MRM1987 С таким не сталкивался.Вам бы лучше через ресурс работать,не как у вас в цикле сейчас сделано

  • N

    Парсинг куков

    Поддержка
    0 Votes
    3 Posts
    781 Views
    N

    @uraabk Спасибо большое!

  • T

    Парсинг JSON

    Поддержка
    0 Votes
    14 Posts
    2358 Views
    U

    Приветствую, подскажите где ошибка. Получаю запрос

    response":{"count":100,"items":[{"id":722672745,"last_seen":{"platform":1,"time":1678082482},"first_name":"Oksana","last_name":"Fox","can_access_closed":true,"is_closed":false},{"id":746240798,"last_seen":{"platform":1,"time":1678075652},"first_name":"София","last_name":"Агафонова","can_access_closed":false,"is_closed":true},

    После хочу вытянуть все ид

    var json = JSON.parse(http_client_encoded_content("auto")) VAR_LIST = [] VAR_ZA = parseInt(864000); if ((json.response.items).length-1 > 0){ for (var i = 0; i < ((json.response.items).length-1); i++){ VAR_DNI = parseInt(json.response.items[i].last_seen.time); VAR_RESULT = (VAR_VREMYA - VAR_DNI); if (VAR_RESULT < VAR_ZA) {VAR_LIST.push(json.response.items[i].id);}
  • dean999D

    Парсинг <script>

    Поддержка
    0 Votes
    3 Posts
    936 Views
    dean999D

    @drprime Отлично! то что нужно) а то хотел регулярками распарсить)