Всем еще раз привет. Вопрос решился. Помог мне с этим Виктор. Короче говоря, каким то образом у винды которая ставиться на китайскую материнку есть ограничения в плане колличества загружаемых строк в бас. То есть. У меня были ключевые слова для поиска. Их был 1 млн. В итоге получается урезал до 150к Софт работает как часы. Может кому то пригодится.
Получается что китайские материнки имеею или слабую обработку или кэш или еще что то. Вообщем я не силен в этом. Но что то не так. Пока и так работает меня полностью Устраивает. Теперь можно крутить бас в 500 + потоков. Всем спасибо. Тему можно закрывать.
Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex)
-
Всех приветствую!
Предыстория: cпарсил кучу сайтов Рунета с Yandex.Metrika через один из плагинов на BAS.Подскажите, как на BAS можно проверить эти сайты на наличие различных защит от ботов?
К примеру, установлена ли на сайте защита: CloudFlare.com, AntiBot.Cloud и т.д.Конечная цель: использовать сайты у которых НЕТ защиты от ботов для нагула профилей (ПФ в Яндексе).
Важно понять, если ли готовое решение, если нет, то стоит ли его вообще заказывать на BAS такой модуль/плагин или лучше заказать скрипт на Python/PHP?
-
@gurkin4 said in Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex):
@tartaria Типа взять кучу сайтов и скриптом проверить есть ли на них велосипед?
Примерно так, да. Именно по ПФ прокачку! Уверен, на форуме уже обсуждали подобное.
Я пока поиском не нашел. Если есть готовые решения - поделитесь, пожалуйста.
Благодарю! -
@tartaria said in Массовая проверка сайтов на наличие защиты от ботов на BAS (ПФ Yandex):
К примеру, установлена ли на сайте защита: CloudFlare.com, AntiBot.Cloud и т.д.
Если прямо совсем нужно, можно получать A-записи для домена и проверять куда они ведут и/или проверять html страницы.
- https://www.cloudflare.com/ips/
- https://antibot.cloud - тут надо проверять html
Готовых решений нет, но написать подобные скрипты не сложно, если есть опыт.
-
У меня такой скрипт есть )
-
