Bablosoft

Парсинг

Moved Поддержка

  • W

    Парсинг Json и цикл

    Поддержка
    0 Votes
    3 Posts
    553 Views
    DuckDuckD

    А вы читали описание к действиям модуля JSON ? у вас есть несколько вариантов - например получить все значения по ключу и собирать их потом, или в цикле проходить и брать нужное ... Там в описании все подсказки есть.

  • K

    Парсинг строки

    Поддержка
    0 Votes
    9 Posts
    1183 Views
    FoxF

    @kelvin said in Парсинг строки:

    Доброго времени суток
    Проблема заключается в реализации парсинга строки из txt.
    Делаю шаб на многопотоке на несколько разных аккаунтов, новый акк с новой строки в txt
    Вид строки такой:
    IpProxy:LoginProxy:ProxyPassword:TEST@yahoo.com:Password:{"cookies":[{"creation":{"day_of_month":"5","day_of_week":"0","hour":"18","millisecond":"159"......

    Проблема заключается в том что для входа в каждый аккаунт мне требуются куки и в связи с этим я запихнул их в строку, но парсинг строки не хочет парсить ее до конца, то есть все парсит отлично от IpProxy до Password, потом наступает очередь куков и их обрезает до первого двоеточия (получаю на выходе такое ""cookies"") , так как в парсинге строки двоеточие - разделение между значениями , а в куках этих двоеточий достаточно.

    Вопрос, как это можно реализовать , что бы куки не обрезались или возможно кто подскажет другой способ? Пробовал сделать через csv , но там не получается так как строка с куками слишком длинная и оно все криво сохраняет.

    Вы можете кодировать куки в base64. Но я бы посоветовал сохранять куки в отдельный файл и называть его логином аккаунта. При работе просто читать файл с куками по логину аккаунта.

  • B

    Парсинг непрогруженного контента

    Поддержка
    0 Votes
    2 Posts
    633 Views
    FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1294 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • J

    **Парсинг rss ленты**

    Поддержка
    0 Votes
    18 Posts
    3581 Views
    romanbizR

    @Jasvin да, у меня тоже, создал вчера тему http://community.bablosoft.com/topic/2957/пакет-npm-rss-parser-как-правильно-настроить