Нужен парсер выдачи

[flour]

Здравствуйте, у кого есть рабочий парсер выдачи гугл... буду благодарен

[Fox]

@flour said in Поток/процесс:

@Fox благодарю, вопрос решен

Ты же уже спрашивал. Чем тебе этот парсер не устроил?

[flour]

@Fox я как-то не разобрался, мне нужно с запросом, с полным парсером выдачи (по страницам) и записью доменов в блокнот

[Zenodrot]

@flour said in Нужен парсер выдачи:

@Fox я как-то не разобрался, мне нужно с запросом, с полным парсером выдачи (по страницам) и записью доменов в блокнот

составь список запросов, из него дергай по одной строке и в переменную, в гет запросе подставляй эту переменную вс там просто
https://www.google.de/search?q={{Список запросов}}&ie=utf-8&oe=utf-8&start=[[S4ET]]
где {{Список запросов}} - строка из списка с твоими запросами
[[S4ET]] - глубина страниц 10,20,30 и т.д

вот эта регулярка выдергивает ссылки - <h3\ class="r"><a href="(.+?)"\ onmousedown="return\ rwt

[flour]

@Zenodrot [[S4ET]] - глубина страниц 10,20,30 и т.д
это до какой страницы парсить будет или конкретную?

[Zenodrot]

@flour said in Нужен парсер выдачи:

@Zenodrot [[S4ET]] - глубина страниц 10,20,30 и т.д
это до какой страницы парсить будет или конкретную?

каждый запрос подставляешь
увеличивай переменную на 10

первый запрос без 10
переменка = s4et 0
потом вот такой https://www.google.de/search?q={{Список запросов}}&ie=utf-8&oe=utf-8
далее переменку s4et с 0 на 10 увеличивай
и новый запрос https://www.google.de/search?q={{Список запросов}}&ie=utf-8&oe=utf-8&start=[[S4ET]]
в цикле будет от 10 до скольки тебе нужно там укажешь в настройках количество циклов

[flour]

@Zenodrot долго это делать буду) пару пунктов понятно, но как новичку ...

[Zenodrot]

@flour said in Нужен парсер выдачи:

@Zenodrot долго это делать буду) пару пунктов понятно, но как новичку ...

счегото нужно начинать ) ты пиши что непонятно, лучше самому с нуля написать чем готовое брать
а если тебе нужен такой парсер в паблике софты загугли есть, селка вроде парсит, а-парсер гдет крякнутый есть
ты в браузере смотри что меняется когда гуглишь и поймешь какие значения тебе нужно менять

[flour]

@Zenodrot апарсер серверный софт, а селка парсит не много,барахлит

[Zenodrot]

@flour said in Нужен парсер выдачи:

@Zenodrot апарсер серверный софт, а селка парсит не много,барахлит

Fox скидывал примерный проект осталось к нему цикл только приделать
примеры с циклами есть в мануале от кодера где юзается парсер через браузер
а ты делай на гет запросах будет шустрее

ты начни делать главное, если что вопросы сюда кидай вместе с проектом, поможем

[flour]

@Zenodrot этот парсер ведь не сможет собрать топ 1000? без прокси и капчи

[Fox]

@flour На все свои проекты готовых решений на форуме не найдёшь, всё равно придётся учиться самому.

Вот проект проект на основе предыдущего, берёт первые 10 страниц гугла и собирает ссылки в LING_LIST.txt в корне BAS'а.

[Zenodrot]

@flour said in Нужен парсер выдачи:

@Zenodrot этот парсер ведь не сможет собрать топ 1000? без прокси и капчи

а в чем проблема прокси прикрутить?

[flour]

@Fox данные не записывает, или нужно скомпилировать проект?
@Zenodrot для новичка сложно

[Fox]

@flour Все мы были новичками, главное пробовать, учится.
Только что открыл проект, нажал кнопку Запустить и за 7 секунд у меня спарсили первые 10 страниц гугла в LING_LIST.txt, в директории:

D:\BrowserAutomationStudio2\apps\18.6.0\

Можно и через Запись, но дольше.