Bablosoft

Парсинг выдачи Яндекса

Moved Поддержка
  • F

    Приветствую! Где-то видел, но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    FoxF K 2 Replies
    0
  • FoxF

    @frikoff said in Парсинг выдачи Яндекса:

    Приветствую! Где-то видел, но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    Это заказ?

    0
  • K

    @frikoff said in Парсинг выдачи Яндекса:

    но сейчас никак не найду. Есть файл с запросами. Нужно тайтл и урлы из выдачи первой страницы напарсить в файл.
    Я только обучаюсь. Правки для себя что смогу, попробую сам сделать

    Ну так напишите, там дел на час с отладкой.

    0

  • K

    Парсинг аккаунтов

    Поддержка
    0 Votes
    4 Posts
    519 Views
    A

    @kompik said in Парсинг аккаунтов:

    url:login:password

    поддомен получается не нужен? только url:login:password?

  • F

    Парсинг csv строку с использованием notreuse приводит к ошибке

    Поддержка
    0 Votes
    6 Posts
    714 Views
    m4zuperM

    Можете прикрепить тестовый скрипт?

  • G

    Парсинг токена

    Поддержка
    0 Votes
    12 Posts
    3616 Views
    alliveA

    @bablouser ;o)
    Я ленивый лень мне гифки всякие делать
    alt text
    Эта почти selenium) только не он katalon object spy

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1294 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • venom777V

    Стоп-слова. Парсинг и строки

    Поддержка
    0 Votes
    4 Posts
    2145 Views
    supportS

    @venom777

    Как можно сделать проверку на наличие стоп слов на: странице, в определенном участке на странице? Если стоп-слова заданы в файле и их количество >1000шт. Ну, или сравнить переменную в которой получен никнейм со списком стоп-слов (4к строк), кто-то пробовал?

    Да, я пробовал. Это делается в 2 действия "Ресурс В Список" и "Получить Индекс". Работает на 10 к списке мгновенно
    0_1479039057258_stopwords.xml

    Для того, чтобы проверить наличие слов на странице нужно сначала получить все слова на странице в список, потом сделать проверку в цикле. Если запускать в режиме "Запись", то проверка стоп слов выполняется мгновенно.
    0_1479039804112_stopwords.xml

    Из последнего проекта вы можете сделать функцию и использовать при каждой загрузке страницы.

    Как брать из файла строки мы все знаем, но как можно брать из файла предложения с сохранением форматирования? К примеру, сделать граббер новостей с сайта источника на свой сайт.

    Перед записью новости в файл вы можете кодировать ее в base64, а после чтение раскодировать(все это действием base64)