Bablosoft

Парсинг выдачи Яндекса

Moved Поддержка
  • F

    Приветствую! Где-то видел, но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    FoxF K 2 Replies
    0
  • FoxF

    @frikoff said in Парсинг выдачи Яндекса:

    Приветствую! Где-то видел, но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    Это заказ?

    0
  • K

    @frikoff said in Парсинг выдачи Яндекса:

    но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    Ну так напишите, там дел на час с отладкой.

    0

  • CooltahenC

    Переход из поисковой выдачи

    Поддержка
    0 Votes
    4 Posts
    520 Views
    Q

    @Cooltahen вот с этого
    https://wiki.bablosoft.com/doku.php?id=ru:start
    и этого
    https://community.bablosoft.com/topic/949/часто-задаваемые-вопросы

  • K

    Парсинг строки

    Поддержка
    0 Votes
    9 Posts
    883 Views
    FoxF

    @kelvin said in Парсинг строки:

    Доброго времени суток
    Проблема заключается в реализации парсинга строки из txt.
    Делаю шаб на многопотоке на несколько разных аккаунтов, новый акк с новой строки в txt
    Вид строки такой:
    IpProxy:LoginProxy:ProxyPassword:TEST@yahoo.com:Password:{"cookies":[{"creation":{"day_of_month":"5","day_of_week":"0","hour":"18","millisecond":"159"......

    Проблема заключается в том что для входа в каждый аккаунт мне требуются куки и в связи с этим я запихнул их в строку, но парсинг строки не хочет парсить ее до конца, то есть все парсит отлично от IpProxy до Password, потом наступает очередь куков и их обрезает до первого двоеточия (получаю на выходе такое ""cookies"") , так как в парсинге строки двоеточие - разделение между значениями , а в куках этих двоеточий достаточно.

    Вопрос, как это можно реализовать , что бы куки не обрезались или возможно кто подскажет другой способ? Пробовал сделать через csv , но там не получается так как строка с куками слишком длинная и оно все криво сохраняет.

    Вы можете кодировать куки в base64. Но я бы посоветовал сохранять куки в отдельный файл и называть его логином аккаунта. При работе просто читать файл с куками по логину аккаунта.

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1169 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • IvanGI

    Парсинг заскриптованной страницы

    Поддержка
    0 Votes
    5 Posts
    1568 Views
    supportS

    @IvanG БАС и так получает код страницы через innerHTML(точнее через outerHTML)
    Так что нужно просто выполнить действие Код страницы, а чтобы выполнить код на странице достаточно просто вызвать действие Яваскрипт, например так, document.documentElement.outerHTML

  • D

    [Проблема] Парсинг больших страниц регулярным выражением

    Поддержка
    0 Votes
    9 Posts
    2055 Views
    D

    @DrPrime Та мне с одним способом добывания данных разобраться бы. А потом можно и разные вариации учить.

    Спасибо большое всем за советы, особенно @Fox за предоставленный код и шпаргалку.