Bablosoft

Парсинг страниц

Поддержка

  • W

    Парсинг Json и цикл

    Поддержка
    0 Votes
    3 Posts
    474 Views
    DuckDuckD

    А вы читали описание к действиям модуля JSON ? у вас есть несколько вариантов - например получить все значения по ключу и собирать их потом, или в цикле проходить и брать нужное ... Там в описании все подсказки есть.

  • X

    как не вызвать подозрение при открытии страниц

    Поддержка
    0 Votes
    2 Posts
    405 Views
    ?

    @xozain Это все проверяется опытным путем не возможно знать, что происходит на стороне сервера. Чаще всего сервер при превышении лимита будет отдавать http статус 500, 502 в худшем случае просто забанит ip через фаервол и тп, но обычно есть ограничение по времени таких санкций.

  • K

    Парсинг строки

    Поддержка
    0 Votes
    9 Posts
    893 Views
    FoxF

    @kelvin said in Парсинг строки:

    Доброго времени суток
    Проблема заключается в реализации парсинга строки из txt.
    Делаю шаб на многопотоке на несколько разных аккаунтов, новый акк с новой строки в txt
    Вид строки такой:
    IpProxy:LoginProxy:ProxyPassword:TEST@yahoo.com:Password:{"cookies":[{"creation":{"day_of_month":"5","day_of_week":"0","hour":"18","millisecond":"159"......

    Проблема заключается в том что для входа в каждый аккаунт мне требуются куки и в связи с этим я запихнул их в строку, но парсинг строки не хочет парсить ее до конца, то есть все парсит отлично от IpProxy до Password, потом наступает очередь куков и их обрезает до первого двоеточия (получаю на выходе такое ""cookies"") , так как в парсинге строки двоеточие - разделение между значениями , а в куках этих двоеточий достаточно.

    Вопрос, как это можно реализовать , что бы куки не обрезались или возможно кто подскажет другой способ? Пробовал сделать через csv , но там не получается так как строка с куками слишком длинная и оно все криво сохраняет.

    Вы можете кодировать куки в base64. Но я бы посоветовал сохранять куки в отдельный файл и называть его логином аккаунта. При работе просто читать файл с куками по логину аккаунта.

  • B

    Парсинг непрогруженного контента

    Поддержка
    0 Votes
    2 Posts
    568 Views
    FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

  • warenukW

    Авто обновление страниц

    Поддержка
    0 Votes
    3 Posts
    679 Views
    warenukW

    @xclsv Я только включил перехватчик, так у меня Bas завис. Вылетело штук 50 запростов) Я понял, спасибо