Bablosoft

Парсинг непрогруженного контента

Поддержка
  • B

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    FoxF 1 Reply
    0
  • FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

    0

  • N

    Парсинг HTML (XPATH)

    Поддержка
    0 Votes
    3 Posts
    617 Views
    S

    @NickBAS
    Xpath получить текст

    //*[contains(@class,'ProfileNav-value')]

    или

    Первое вхождение

    data-count=(\d+)
  • D

    Парсинг JSON

    Поддержка
    0 Votes
    5 Posts
    914 Views
    FoxF

    @debrovski said in Парсинг JSON:

    Создаю цикл для перебора (Вот тут я не уверен что сделал правильно..)

    В "Foreach" нужно указать массив для перебора, а не логическое выражение. По 1 и 2 пунктам не могу сказать без данных

  • L

    Парсинг JSON

    Moved Поддержка
    0 Votes
    6 Posts
    1517 Views
    FoxF

    @Landrug said in Парсинг JSON:

    Доброго времени суток, комрады.

    Есть json файл, как спарсить с него все логины и пароли ( объекты "login" и "password") ?
    Мне нужно вытащить их в формате login:pass , но не понимаю, как это сделать
    У меня bas его даже не читает, а кидает ошибку SyntaxError: Unable to parse JSON string

    Благодарен за помощь

    Ухты, кто то ещё использует HourBoostr :D

  • L

    Парсинг json

    Поддержка
    0 Votes
    6 Posts
    987 Views
    L

    @Fox не рулетка

  • T

    Парсинг JSON

    Поддержка
    0 Votes
    14 Posts
    3045 Views
    U

    Приветствую, подскажите где ошибка. Получаю запрос

    response":{"count":100,"items":[{"id":722672745,"last_seen":{"platform":1,"time":1678082482},"first_name":"Oksana","last_name":"Fox","can_access_closed":true,"is_closed":false},{"id":746240798,"last_seen":{"platform":1,"time":1678075652},"first_name":"София","last_name":"Агафонова","can_access_closed":false,"is_closed":true},

    После хочу вытянуть все ид

    var json = JSON.parse(http_client_encoded_content("auto")) VAR_LIST = [] VAR_ZA = parseInt(864000); if ((json.response.items).length-1 > 0){ for (var i = 0; i < ((json.response.items).length-1); i++){ VAR_DNI = parseInt(json.response.items[i].last_seen.time); VAR_RESULT = (VAR_VREMYA - VAR_DNI); if (VAR_RESULT < VAR_ZA) {VAR_LIST.push(json.response.items[i].id);}