@pro100sata использовать различные операторы
@кот а подробней? я новичок в этом просто)
@кот Я делал так
Allinurl: /customer/account/create/
Но гугл выдает не все результаты.
inurl:/webforms/index/index intext:2017
inurl:/webforms/index/index/ intext:beauty intitle:shop dll
intext:powered by webforms "contact" intext:2016
intext:powered by webforms "contacto" intext:2016
intext:powered by webforms "contact" intext:by
intext:powered by webforms intext:shipping
intext:"powered by webforms" ladies
intext:"powered by webforms" man
inurl:index.php/checkout/cart/ intitle:shopping
inurl:checkout/cart/ intitle:shopping cart
"audio" intitle:"Search Terms"
"shop" intitle:"Search Terms"
"mobile" intitle:"Search Terms"
inurl:index.php/customer-service intitle:customer service
"mall" inurl:index.php/customer-service
"shirt" inurl:index.php/customer-service
"beauty" inurl:index.php/customer-service
"online" inurl:index.php/customer-service
"games" inurl:index.php/customer-service
"city" inurl:index.php/customer-service
"mobile" login inurl:customer/account/login/ site:.com
intitle:shop inurl:account/login/ site:.com
intext:2016 inurl:customer/account/ site:.com
inurl:/checkout/onepage/Login site:.com
"site magento" inurl:/index.php/admin/index/
"site magento" inurl:/index.php/admin/index/
inurl:/?___from_store=id
inurl://?___from_store=id intext:magento
inurl:/?___store=
inurl:/?___store= intext:magento
inurl:/categories/books/ intext:magento
"shirt" inurl:customer/account/login/ site:.com
"Site magento"
/index.php/admin/sales_order/ site:?
inurl:"shirt" inurl:customer/account/login/ site:.com
inurl:"jeans" inurl:account/login site:.com
inurl:"Login or Create an Account. Registered Customers. If you have an account with us, log in using your email address. *Email Address. *Password. Login"
inurl:"/skin/frontend/"
inurl:"/frontend/enterprise/"
inurl:"/js/mage/"
inurl:"/default/sales/"
inurl:"/customer/account/"
inurl:"/account/create/"
inurl:"/account/login/"
inurl:"/account/forgotpassword"
inurl:"/adminhtml/default/default/"
inurl:"lib/LinLibertineFont/"
inurl:"lib/3Dsecure/"
inurl:"lib/flex/"
inurl:"lib/googlecheckout/"
inurl:"lib/LinLibertineFont/"
inurl:"/catalogsearch/advanced"
inurl:"/sales/guest/form/"
inurl:"/catalogsearch/term/popular/"
inurl:"/catalog/seo_sitemap/category/"
inurl:"/index.php/catalog/seo_sitemap/category/"
inurl:"/index.php/catalogsearch/term/popular/"
inurl:"/catalogsearch/result/"
inurl:"/catalogsearch/result?q="
inurl:"/customer/account/login/referer/"
inurl:"skin/frontend/base/"
inurl:"skin/frontend/default/"
inurl:"skin/frontend/default/blank/"
inurl:"skin/frontend/default/blue/"
inurl:"skin/frontend/default/default/"
inurl:"skin/frontend/default/french/"
inurl:"skin/frontend/default/german/"
inurl:"skin/frontend/default/iphone/"
inurl:"skin/frontend/default/modern/"
inurl:"/skin/adminhtml/default/"
inurl:"inurl:/adminhtml/default/default/"
inurl:"inurl:/catalogsearch/result/"
inurl:"inurl:/catalogsearch/advanced"
inurl:"inurl:/catalogsearch/result?q="
inurl:"inurl:/sales/guest/form/"
inurl:"inurl:/default/sales/"
inurl:"inurl:/customer/account/login/referer/"
inurl:"inurl:/customer/account/"
inurl:"inurl:/account/create/"
inurl:"inurl:/account/login/"
inurl:"inurl:/account/create/"
inurl:"inurl:/account/forgotpassword"
inurl:"inurl:lib/LinLibertineFont/"
inurl:"inurl:lib/3Dsecure/"
inurl:"inurl:lib/flex/"
inurl:"/firecheckout/"
inurl:"inurl:lib/googlecheckout/"
inurl:"inurl:lib/LinLibertineFont/"
inurl:"inurl:skin/frontend/base/"
inurl:"inurl:skin/frontend/default/blank/"
inurl:"inurl:skin/frontend/default/blue/"
inurl:"inurl:skin/frontend/default/default/"
inurl:"inurl:skin/frontend/default/french/"
inurl:"inurl:skin/frontend/default/german/"
inurl:"inurl:skin/frontend/default/iphone/"
inurl:"inurl:skin/frontend/default/modern/"
inurl:"index.php/sales/guest/"
inurl:"index.php/catalogsearch/result/"
inurl:"index.php/catalogsearch/advanced"
inurl:"index.php/catalogsearch/result?q="
inurl:"index.php/sales/guest/form/"
inurl:"index.php/default/sales/"
inurl:"index.php/customer/account/login/referer/"
inurl:"index.php/customer/account/"
inurl:"index.php/account/create/"
inurl:"index.php/account/login/"
inurl:"index.php/account/create/"
inurl:"index.php/account/forgotpassword"
inurl:"index.php/adminhtml/default/default/"
дорки можно самому наклепать тысячами
гугл не выдаст тебе все по одному запросу (зашита от парсеров) Обход - запросы должны быть разными и выдачу первую собираешь под разные запросы, ну и прокси запасайся.
не только гуглом едины есть куча альторнативных поисковиков.
@кот Ну капча меня не пугает так как есть CapMonster...
Я правильно понял, это нужно в запрос в гугл ставлять:
inurl:"/default/sales/"
inurl:"/customer/account/"
inurl:"/account/create/"
?
@pro100sata ну ты попробуй...
комбинируй запросы по доменам, по тексту в коде и т.п, можно сотни тысяч уникальных запросов сделать
документацию скинул, примеры скинул, дерзай
@pro100sata к своим футпринтам добавляй бази слов(цифр) для парсинга. Также пособирай футпринты на других языках.
@root В смысле? можно по подробней) пожалуйста)
@pro100sata искать проще на клонах гугла, там меньше защиты, но нормальных осталось мало и просто так не кто не скажет, ну например https://duckduckgo.com, парсить нужно по словарю общетематических запросов, потом уже переходя на каждый сайт в выдаче определять его движок по признакам и тем самым можно собрать большую базу.
@pro100sata ну приблизительно. Но с операторами лучше не парсить, так как бан айпи будет очень скоро.
"customer/account/create/" A 2
"customer/account/create/" B 2
"customer/account/create/" C 2
"customer/account/create/" - константа(футпринты), остальное - разные базы слов, цифр...др. Для вариации выдачи. Собирать большую базу, потом на Басе создать анализатор на определение движка(лучше на гет запросах), и пройтись по всей базе для отсеивания мусора.
@pro100sata
Вот некоторый список где можно парсить, но лучше даже гугл в 1 поток парсить, чем на этих поисковиках или клонах, так как у них очень сильно урезана выдача. Постоянно выдаются одни и теже результаты, глубина парсинка очень маленькая.
http://www.jayde.com
http://www.huntsy.com
http://www.sogou.com
https://busca.uol.com.br
https://www.so.com
http://www.when.com
http://us.when.com
http://www.aolsearch.com
http://nova.rambler.ru
https://www.hotbot.com/
http://hotbot.com
http://www.google.interia.pl
https://lite.qwant.com
http://googleusaserp.managames.com
http://www.teoma.com
http://uk.ask.com
http://search.centrum.cz
https://www.sogou.com
http://arianna.libero.it
http://ricerca.virgilio.it
https://metager.de
http://search.myway.com
http://int.search.mywebsearch.com
http://alothome.com
http://search.alot.com
http://www.zapmeta.com
https://www.ecosia.org
http://www.exalead.com
http://search.avg.com
http://www.startsiden.no
http://searchatlas.centrum.cz
https://suche.1und1.de
https://suche.gmx.net
https://suche.web.de
http://search.aol.co.uk
http://suche.aol.de
http://o2suche.aol.de
http://websearch.cs.com
http://www.plusnetwork.com
http://search.tut.by
http://search-europe.net
http://web1.exactseek.com
http://nigma.ru
http://deusu.org
http://www.sputnik.ru
http://www.wotbox.com
http://search.yahoo.co.jp
http://go.speedbit.com
http://www.websearch.com
http://www.gogo.by
http://www.bing.com
http://search.yahoo.com
@pro100sata то и другое.
