Bablosoft

Парсер поисковой выдачи

Поддержка
  • P

    Как get запросом получить все ссылки на сайты в выдаче яндекс и гугл(только первая страница)? Ввожу https://yandex.ru/search/?text=easy в get запрос,в итоге получаю ответ только с ссылками на яндекс сервисы,хотя если нажать на просмотр в браузере,то видно,что запрос прошел и выдача есть.Что я делаю не так,подскажите?

    uraabkU 1 Reply
    0
  • uraabkU

    @paini said in Парсер поисковой выдачи:

    Как get запросом получить все ссылки на сайты в выдаче яндекс и гугл(только первая страница)? Ввожу https://yandex.ru/search/?text=easy в get запрос,в итоге получаю ответ только с ссылками на яндекс сервисы,хотя если нажать на просмотр в браузере,то видно,что запрос прошел и выдача есть.Что я делаю не так,подскажите?

    Значит, вытаскиваете не тот элемент...

    Используйте xpath по типу такого, но лучше изменить класс и добавить больше элементов на всякий случай.

    //a[contains(@class,'link link_theme_normal organic__url link_cropped_no i-bem')]/@href

    >>Ваша Благодарность<<

    Как я пишу скрипты на самом деле - https://coub.com/view/1of0bq

    0
  • P

    @uraabk said in Парсер поисковой выдачи:

    //a[contains(@class,'link link_theme_normal organic__url link_cropped_no i-bem')]/@href

    Спасибо большое,так работает

    0

  • QuadQ

    Парсер комметариев ютуб парсит не все комментарии

    Поддержка
    0 Votes
    3 Posts
    433 Views
    QuadQ

    @demon304dima Хорошо, спасибо.

  • I

    Парсер E-mail с разных сайтов

    Moved Поддержка
    0 Votes
    15 Posts
    1196 Views
    A

    @Ivserzh12 у меня руки асе ни как не дойдут, делайте, под каждый сайт свой шаб. Ссылку вытаскивать не обязательно, есть стандарты, contact contacts и т.д, перебором проверяете сущемствование, того или иного элемента. В зависимости от истины или ложи, составляет дальше шаблоны под каждые контакты. Да долго и муторно, по другому ни как.

  • P

    Парсер Google

    Поддержка
    0 Votes
    25 Posts
    11170 Views
    S

    @pro100sata есть 2-е базы. 1-я база(список) слов, словарей, цифр, да что угодно, лишь бы гугл отдавал результат. 2-й список - это ваш признаки, которые насобирали. Методом перебора подставляется для каждого элемента 1-го списка, каждый элемент 2-го списка.
    Если взять цифры первым списком, запросы:
    1 "index.php/customer-service"
    1 "/index.php/admin/index/"
    1 "/?___from_store=id"
    1 "/?___store="
    ...

    2 "index.php/customer-service"
    2 "/index.php/admin/index/"
    2 "/?___from_store=id"
    2 "/?___store="

    гугл ищет совпадения на странице, что было 2(в тексте, в тайтле, в юрл, где угодно) + дополнительный пареметр (index.php/customer-service). Выдаст что-то похожее к тому что нужно + куча шлака, который прийдется убирать.
    Для того чтобы собрать как можно больше, используются всякие разные базы. А ваша база с признаками остается одна и таже.
    Используйте вместо первой базы, базу слов, дат или кучу другого, для того что именно, нужно проанализировать движок и узнать, что у них всех есть общего, например дата, но у всех она разная. Можно список дат самому в екселе сделать определенного формата и использовать базу с ними.

  • bms.javaB

    Парсер мой мир через get

    Поддержка
    0 Votes
    8 Posts
    2818 Views
    bigoratB

    @forall said in Парсер мой мир через get:

    Такое только премиум пользователям! А то всю малину школолошки обрубят...

    Не обрубят, это тоже не так просто сделать как кажется...

  • B

    Руководство №2. Создание парсера выдачи гугл

    Поддержка
    0 Votes
    3 Posts
    1720 Views
    supportS

    @bruce можете прикрепить скрипт?