Bablosoft

**Парсинг rss ленты**

Поддержка

  • D

    Парсинг JSON

    Поддержка
    0 Votes
    3 Posts
    537 Views
    D

    @Symposium получаю вот так, $.items[*].id,conversion
    Выходит вот это: d1d2ea53-21fe-405a-8155-243cb709d914-изображение.png

    Не совсем понимаю как теперь через условие чекать все это дело, если парсится все по отдельной строке

  • ?

    Парсинг JSON и переменная в квадратных скобках

    Поддержка
    0 Votes
    16 Posts
    2046 Views
    FoxF

    @sir-ydroidrrr said in Парсинг JSON и переменная в квадратных скобках:

    @Fox Да, теперь работает, неплохо бы это указать в справке модули.

    Ну вообще это вроде где то было, я же сам не с потолка эту инфу взял :D. Я по началу очень долго сопротивлялся этому модулю, JSON.parse() как то был ближе и роднее ))

  • K

    Парсинг строки

    Поддержка
    0 Votes
    9 Posts
    977 Views
    FoxF

    @kelvin said in Парсинг строки:

    Доброго времени суток
    Проблема заключается в реализации парсинга строки из txt.
    Делаю шаб на многопотоке на несколько разных аккаунтов, новый акк с новой строки в txt
    Вид строки такой:
    IpProxy:LoginProxy:ProxyPassword:TEST@yahoo.com:Password:{"cookies":[{"creation":{"day_of_month":"5","day_of_week":"0","hour":"18","millisecond":"159"......

    Проблема заключается в том что для входа в каждый аккаунт мне требуются куки и в связи с этим я запихнул их в строку, но парсинг строки не хочет парсить ее до конца, то есть все парсит отлично от IpProxy до Password, потом наступает очередь куков и их обрезает до первого двоеточия (получаю на выходе такое ""cookies"") , так как в парсинге строки двоеточие - разделение между значениями , а в куках этих двоеточий достаточно.

    Вопрос, как это можно реализовать , что бы куки не обрезались или возможно кто подскажет другой способ? Пробовал сделать через csv , но там не получается так как строка с куками слишком длинная и оно все криво сохраняет.

    Вы можете кодировать куки в base64. Но я бы посоветовал сохранять куки в отдельный файл и называть его логином аккаунта. При работе просто читать файл с куками по логину аккаунта.

  • B

    Парсинг непрогруженного контента

    Поддержка
    0 Votes
    2 Posts
    591 Views
    FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

  • venom777V

    Стоп-слова. Парсинг и строки

    Поддержка
    0 Votes
    4 Posts
    2067 Views
    supportS

    @venom777

    Как можно сделать проверку на наличие стоп слов на: странице, в определенном участке на странице? Если стоп-слова заданы в файле и их количество >1000шт. Ну, или сравнить переменную в которой получен никнейм со списком стоп-слов (4к строк), кто-то пробовал?

    Да, я пробовал. Это делается в 2 действия "Ресурс В Список" и "Получить Индекс". Работает на 10 к списке мгновенно
    0_1479039057258_stopwords.xml

    Для того, чтобы проверить наличие слов на странице нужно сначала получить все слова на странице в список, потом сделать проверку в цикле. Если запускать в режиме "Запись", то проверка стоп слов выполняется мгновенно.
    0_1479039804112_stopwords.xml

    Из последнего проекта вы можете сделать функцию и использовать при каждой загрузке страницы.

    Как брать из файла строки мы все знаем, но как можно брать из файла предложения с сохранением форматирования? К примеру, сделать граббер новостей с сайта источника на свой сайт.

    Перед записью новости в файл вы можете кодировать ее в base64, а после чтение раскодировать(все это действием base64)