Помогите сделать парсер сайтов с гугла на CMS Magento
Нужно собрать много сайтов на CMS Magento.... Но не получается... за 10 дней собрал только 70 тис. сайтов... без дублей.
Подскажите что можно сделать чтобы больше собрать сайтов....
@pro100sata использовать различные операторы
@кот а подробней? я новичок в этом просто)
@кот Я делал так
Allinurl: /customer/account/create/
Но гугл выдает не все результаты.
inurl:/webforms/index/index intext:2017
inurl:/webforms/index/index/ intext:beauty intitle:shop dll
intext:powered by webforms "contact" intext:2016
intext:powered by webforms "contacto" intext:2016
intext:powered by webforms "contact" intext:by
intext:powered by webforms intext:shipping
intext:"powered by webforms" ladies
intext:"powered by webforms" man
inurl:index.php/checkout/cart/ intitle:shopping
inurl:checkout/cart/ intitle:shopping cart
"audio" intitle:"Search Terms"
"shop" intitle:"Search Terms"
"mobile" intitle:"Search Terms"
inurl:index.php/customer-service intitle:customer service
"mall" inurl:index.php/customer-service
"shirt" inurl:index.php/customer-service
"beauty" inurl:index.php/customer-service
"online" inurl:index.php/customer-service
"games" inurl:index.php/customer-service
"city" inurl:index.php/customer-service
"mobile" login inurl:customer/account/login/ site:.com
intitle:shop inurl:account/login/ site:.com
intext:2016 inurl:customer/account/ site:.com
inurl:/checkout/onepage/Login site:.com
"site magento" inurl:/index.php/admin/index/
"site magento" inurl:/index.php/admin/index/
inurl:/?___from_store=id
inurl://?___from_store=id intext:magento
inurl:/?___store=
inurl:/?___store= intext:magento
inurl:/categories/books/ intext:magento
"shirt" inurl:customer/account/login/ site:.com
"Site magento"
/index.php/admin/sales_order/ site:?
inurl:"shirt" inurl:customer/account/login/ site:.com
inurl:"jeans" inurl:account/login site:.com
inurl:"Login or Create an Account. Registered Customers. If you have an account with us, log in using your email address. *Email Address. *Password. Login"
inurl:"/skin/frontend/"
inurl:"/frontend/enterprise/"
inurl:"/js/mage/"
inurl:"/default/sales/"
inurl:"/customer/account/"
inurl:"/account/create/"
inurl:"/account/login/"
inurl:"/account/forgotpassword"
inurl:"/adminhtml/default/default/"
inurl:"lib/LinLibertineFont/"
inurl:"lib/3Dsecure/"
inurl:"lib/flex/"
inurl:"lib/googlecheckout/"
inurl:"lib/LinLibertineFont/"
inurl:"/catalogsearch/advanced"
inurl:"/sales/guest/form/"
inurl:"/catalogsearch/term/popular/"
inurl:"/catalog/seo_sitemap/category/"
inurl:"/index.php/catalog/seo_sitemap/category/"
inurl:"/index.php/catalogsearch/term/popular/"
inurl:"/catalogsearch/result/"
inurl:"/catalogsearch/result?q="
inurl:"/customer/account/login/referer/"
inurl:"skin/frontend/base/"
inurl:"skin/frontend/default/"
inurl:"skin/frontend/default/blank/"
inurl:"skin/frontend/default/blue/"
inurl:"skin/frontend/default/default/"
inurl:"skin/frontend/default/french/"
inurl:"skin/frontend/default/german/"
inurl:"skin/frontend/default/iphone/"
inurl:"skin/frontend/default/modern/"
inurl:"/skin/adminhtml/default/"
inurl:"inurl:/adminhtml/default/default/"
inurl:"inurl:/catalogsearch/result/"
inurl:"inurl:/catalogsearch/advanced"
inurl:"inurl:/catalogsearch/result?q="
inurl:"inurl:/sales/guest/form/"
inurl:"inurl:/default/sales/"
inurl:"inurl:/customer/account/login/referer/"
inurl:"inurl:/customer/account/"
inurl:"inurl:/account/create/"
inurl:"inurl:/account/login/"
inurl:"inurl:/account/create/"
inurl:"inurl:/account/forgotpassword"
inurl:"inurl:lib/LinLibertineFont/"
inurl:"inurl:lib/3Dsecure/"
inurl:"inurl:lib/flex/"
inurl:"/firecheckout/"
inurl:"inurl:lib/googlecheckout/"
inurl:"inurl:lib/LinLibertineFont/"
inurl:"inurl:skin/frontend/base/"
inurl:"inurl:skin/frontend/default/blank/"
inurl:"inurl:skin/frontend/default/blue/"
inurl:"inurl:skin/frontend/default/default/"
inurl:"inurl:skin/frontend/default/french/"
inurl:"inurl:skin/frontend/default/german/"
inurl:"inurl:skin/frontend/default/iphone/"
inurl:"inurl:skin/frontend/default/modern/"
inurl:"index.php/sales/guest/"
inurl:"index.php/catalogsearch/result/"
inurl:"index.php/catalogsearch/advanced"
inurl:"index.php/catalogsearch/result?q="
inurl:"index.php/sales/guest/form/"
inurl:"index.php/default/sales/"
inurl:"index.php/customer/account/login/referer/"
inurl:"index.php/customer/account/"
inurl:"index.php/account/create/"
inurl:"index.php/account/login/"
inurl:"index.php/account/create/"
inurl:"index.php/account/forgotpassword"
inurl:"index.php/adminhtml/default/default/"
дорки можно самому наклепать тысячами
гугл не выдаст тебе все по одному запросу (зашита от парсеров) Обход - запросы должны быть разными и выдачу первую собираешь под разные запросы, ну и прокси запасайся.
не только гуглом едины есть куча альторнативных поисковиков.
@кот Ну капча меня не пугает так как есть CapMonster...
Я правильно понял, это нужно в запрос в гугл ставлять:
inurl:"/default/sales/"
inurl:"/customer/account/"
inurl:"/account/create/"
?
@pro100sata ну ты попробуй...
комбинируй запросы по доменам, по тексту в коде и т.п, можно сотни тысяч уникальных запросов сделать
документацию скинул, примеры скинул, дерзай
@pro100sata к своим футпринтам добавляй бази слов(цифр) для парсинга. Также пособирай футпринты на других языках.
@root В смысле? можно по подробней) пожалуйста)
@pro100sata искать проще на клонах гугла, там меньше защиты, но нормальных осталось мало и просто так не кто не скажет, ну например https://duckduckgo.com, парсить нужно по словарю общетематических запросов, потом уже переходя на каждый сайт в выдаче определять его движок по признакам и тем самым можно собрать большую базу.
@pro100sata ну приблизительно. Но с операторами лучше не парсить, так как бан айпи будет очень скоро.
"customer/account/create/" A 2
"customer/account/create/" B 2
"customer/account/create/" C 2
"customer/account/create/" - константа(футпринты), остальное - разные базы слов, цифр...др. Для вариации выдачи. Собирать большую базу, потом на Басе создать анализатор на определение движка(лучше на гет запросах), и пройтись по всей базе для отсеивания мусора.
@pro100sata
Вот некоторый список где можно парсить, но лучше даже гугл в 1 поток парсить, чем на этих поисковиках или клонах, так как у них очень сильно урезана выдача. Постоянно выдаются одни и теже результаты, глубина парсинка очень маленькая.
http://www.jayde.com
http://www.huntsy.com
http://www.sogou.com
https://busca.uol.com.br
https://www.so.com
http://www.when.com
http://us.when.com
http://www.aolsearch.com
http://nova.rambler.ru
https://www.hotbot.com/
http://hotbot.com
http://www.google.interia.pl
https://lite.qwant.com
http://googleusaserp.managames.com
http://www.teoma.com
http://uk.ask.com
http://search.centrum.cz
https://www.sogou.com
http://arianna.libero.it
http://ricerca.virgilio.it
https://metager.de
http://search.myway.com
http://int.search.mywebsearch.com
http://alothome.com
http://search.alot.com
http://www.zapmeta.com
https://www.ecosia.org
http://www.exalead.com
http://search.avg.com
http://www.startsiden.no
http://searchatlas.centrum.cz
https://suche.1und1.de
https://suche.gmx.net
https://suche.web.de
http://search.aol.co.uk
http://suche.aol.de
http://o2suche.aol.de
http://websearch.cs.com
http://www.plusnetwork.com
http://search.tut.by
http://search-europe.net
http://web1.exactseek.com
http://nigma.ru
http://deusu.org
http://www.sputnik.ru
http://www.wotbox.com
http://search.yahoo.co.jp
http://go.speedbit.com
http://www.websearch.com
http://www.gogo.by
http://www.bing.com
http://search.yahoo.com
