Вообщем проблема решилась сама собой, после включения/выключения компа, память сама очистилась за ночь) Я до этого всегда на вдс-ках запускал скрипты и не замечал что бас столько места занимает
Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex)
-
Всех приветствую!
Предыстория: cпарсил кучу сайтов Рунета с Yandex.Metrika через один из плагинов на BAS.Подскажите, как на BAS можно проверить эти сайты на наличие различных защит от ботов?
К примеру, установлена ли на сайте защита: CloudFlare.com, AntiBot.Cloud и т.д.Конечная цель: использовать сайты у которых НЕТ защиты от ботов для нагула профилей (ПФ в Яндексе).
Важно понять, если ли готовое решение, если нет, то стоит ли его вообще заказывать на BAS такой модуль/плагин или лучше заказать скрипт на Python/PHP?
-
@gurkin4 said in Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex):
@tartaria Типа взять кучу сайтов и скриптом проверить есть ли на них велосипед?
Примерно так, да. Именно по ПФ прокачку! Уверен, на форуме уже обсуждали подобное.
Я пока поиском не нашел. Если есть готовые решения - поделитесь, пожалуйста.
Благодарю! -
@tartaria said in Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex):
К примеру, установлена ли на сайте защита: CloudFlare.com, AntiBot.Cloud и т.д.
Если прямо совсем нужно, можно получать A-записи для домена и проверять куда они ведут и/или проверять html страницы.
- https://www.cloudflare.com/ips/
- https://antibot.cloud - тут надо проверять html
Готовых решений нет, но написать подобные скрипты не сложно, если есть опыт.
-
У меня такой скрипт есть )
-
