Bablosoft

Парсинг непрогруженного контента

Поддержка
  • B

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    FoxF 1 Reply
    0
  • FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

    0

  • A

    Парсинг комбобокса

    Поддержка
    0 Votes
    3 Posts
    510 Views
    L

    Не знаю задачи, но возможно будет быстрее сделать через VK.API:
    https://vk.com/dev/database.getCities?params[country_id]=1&params[need_all]=0&params[count]=100&params[v]=5.102

  • T

    Парсинг JSON

    Поддержка
    0 Votes
    14 Posts
    2229 Views
    U

    Приветствую, подскажите где ошибка. Получаю запрос

    response":{"count":100,"items":[{"id":722672745,"last_seen":{"platform":1,"time":1678082482},"first_name":"Oksana","last_name":"Fox","can_access_closed":true,"is_closed":false},{"id":746240798,"last_seen":{"platform":1,"time":1678075652},"first_name":"София","last_name":"Агафонова","can_access_closed":false,"is_closed":true},

    После хочу вытянуть все ид

    var json = JSON.parse(http_client_encoded_content("auto")) VAR_LIST = [] VAR_ZA = parseInt(864000); if ((json.response.items).length-1 > 0){ for (var i = 0; i < ((json.response.items).length-1); i++){ VAR_DNI = parseInt(json.response.items[i].last_seen.time); VAR_RESULT = (VAR_VREMYA - VAR_DNI); if (VAR_RESULT < VAR_ZA) {VAR_LIST.push(json.response.items[i].id);}
  • M

    Кто сможет подсказать логику парсинга контента (статей) с еще непроиндексированных ПС сайтов

    Поддержка
    0 Votes
    5 Posts
    1010 Views
    V

    @masterklas said in Кто сможет подсказать логику парсинга контента (статей) с еще непроиндексированных ПС сайтов:

    @vvtex Интересно. Но есть мнение что текст когда то побывавший в индексе остаётся там навсегда и не будет уже уникальным, даже если его вытащить из лохматых годов. Но, надо проверить самому, убедиться так сказать...

    Ну как проверишь, расскажи нам :)

  • D

    Как скопировать текст вместе с картинками из поля контента сайта?

    Поддержка
    0 Votes
    2 Posts
    1027 Views
    A

    Не улгубляясь в селекторы можно мышкой выделить и вставить в блокнот,а если хочется с помошью бас прийдется углубится.
    Xpath или регуляркой в любом случае нужно отследить теги в которых заключен нужный текст и из них вытянуть, иначе не выйдет. Бас пока не дорос до уровня чтения мыслей и не дергает то на что Вы смотрите.

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1169 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.