если на странице 5к элементов, как проверить за пару секунд, не пишите бреда. Проверять циклом на видимость каждого элемента, это очень долго
Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex)
-
Всех приветствую!
Предыстория: cпарсил кучу сайтов Рунета с Yandex.Metrika через один из плагинов на BAS.Подскажите, как на BAS можно проверить эти сайты на наличие различных защит от ботов?
К примеру, установлена ли на сайте защита: CloudFlare.com, AntiBot.Cloud и т.д.Конечная цель: использовать сайты у которых НЕТ защиты от ботов для нагула профилей (ПФ в Яндексе).
Важно понять, если ли готовое решение, если нет, то стоит ли его вообще заказывать на BAS такой модуль/плагин или лучше заказать скрипт на Python/PHP?
-
@gurkin4 said in Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex):
@tartaria Типа взять кучу сайтов и скриптом проверить есть ли на них велосипед?
Примерно так, да. Именно по ПФ прокачку! Уверен, на форуме уже обсуждали подобное.
Я пока поиском не нашел. Если есть готовые решения - поделитесь, пожалуйста.
Благодарю! -
@tartaria said in Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex):
К примеру, установлена ли на сайте защита: CloudFlare.com, AntiBot.Cloud и т.д.
Если прямо совсем нужно, можно получать A-записи для домена и проверять куда они ведут и/или проверять html страницы.
- https://www.cloudflare.com/ips/
- https://antibot.cloud - тут надо проверять html
Готовых решений нет, но написать подобные скрипты не сложно, если есть опыт.
-
У меня такой скрипт есть )
-
