Bablosoft

Парсинг непрогруженного контента

Поддержка
  • B

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    FoxF 1 Reply
    0
  • FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

    0

  • F

    Парсинг выдачи Яндекса

    Moved Поддержка
    0 Votes
    3 Posts
    494 Views
    K

    @frikoff said in Парсинг выдачи Яндекса:

    но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    Ну так напишите, там дел на час с отладкой.

  • K

    Парсинг Json проблема

    Поддержка
    0 Votes
    2 Posts
    563 Views
    llimonixL

    @Konko said in Парсинг Json проблема:

    $.TopCountryShares

    ответ который получается при получить все значения скорее всего в лог вывести не сможешь, преобразовать в строку и будет вот так
    63c1686c-a7d2-4bef-8eb3-048b5af4070d-image.png

  • K

    Парсинг строки

    Поддержка
    0 Votes
    9 Posts
    1183 Views
    FoxF

    @kelvin said in Парсинг строки:

    Доброго времени суток
    Проблема заключается в реализации парсинга строки из txt.
    Делаю шаб на многопотоке на несколько разных аккаунтов, новый акк с новой строки в txt
    Вид строки такой:
    IpProxy:LoginProxy:ProxyPassword:TEST@yahoo.com:Password:{"cookies":[{"creation":{"day_of_month":"5","day_of_week":"0","hour":"18","millisecond":"159"......

    Проблема заключается в том что для входа в каждый аккаунт мне требуются куки и в связи с этим я запихнул их в строку, но парсинг строки не хочет парсить ее до конца, то есть все парсит отлично от IpProxy до Password, потом наступает очередь куков и их обрезает до первого двоеточия (получаю на выходе такое ""cookies"") , так как в парсинге строки двоеточие - разделение между значениями , а в куках этих двоеточий достаточно.

    Вопрос, как это можно реализовать , что бы куки не обрезались или возможно кто подскажет другой способ? Пробовал сделать через csv , но там не получается так как строка с куками слишком длинная и оно все криво сохраняет.

    Вы можете кодировать куки в base64. Но я бы посоветовал сохранять куки в отдельный файл и называть его логином аккаунта. При работе просто читать файл с куками по логину аккаунта.

  • T

    Парсинг JSON

    Поддержка
    0 Votes
    14 Posts
    2606 Views
    U

    Приветствую, подскажите где ошибка. Получаю запрос

    response":{"count":100,"items":[{"id":722672745,"last_seen":{"platform":1,"time":1678082482},"first_name":"Oksana","last_name":"Fox","can_access_closed":true,"is_closed":false},{"id":746240798,"last_seen":{"platform":1,"time":1678075652},"first_name":"София","last_name":"Агафонова","can_access_closed":false,"is_closed":true},

    После хочу вытянуть все ид

    var json = JSON.parse(http_client_encoded_content("auto")) VAR_LIST = [] VAR_ZA = parseInt(864000); if ((json.response.items).length-1 > 0){ for (var i = 0; i < ((json.response.items).length-1); i++){ VAR_DNI = parseInt(json.response.items[i].last_seen.time); VAR_RESULT = (VAR_VREMYA - VAR_DNI); if (VAR_RESULT < VAR_ZA) {VAR_LIST.push(json.response.items[i].id);}
  • venom777V

    Стоп-слова. Парсинг и строки

    Поддержка
    0 Votes
    4 Posts
    2145 Views
    supportS

    @venom777

    Как можно сделать проверку на наличие стоп слов на: странице, в определенном участке на странице? Если стоп-слова заданы в файле и их количество >1000шт. Ну, или сравнить переменную в которой получен никнейм со списком стоп-слов (4к строк), кто-то пробовал?

    Да, я пробовал. Это делается в 2 действия "Ресурс В Список" и "Получить Индекс". Работает на 10 к списке мгновенно
    0_1479039057258_stopwords.xml

    Для того, чтобы проверить наличие слов на странице нужно сначала получить все слова на странице в список, потом сделать проверку в цикле. Если запускать в режиме "Запись", то проверка стоп слов выполняется мгновенно.
    0_1479039804112_stopwords.xml

    Из последнего проекта вы можете сделать функцию и использовать при каждой загрузке страницы.

    Как брать из файла строки мы все знаем, но как можно брать из файла предложения с сохранением форматирования? К примеру, сделать граббер новостей с сайта источника на свой сайт.

    Перед записью новости в файл вы можете кодировать ее в base64, а после чтение раскодировать(все это действием base64)