Вот типичный ботовод
Screenshot_2.png
С вероятностью это 99.9 это бот.
@Napulsnik, загрузку страницы класть в игнор ошибок, потом делать проверку if was error и если ошибка была, то записывать url в отдельный файл или результат.
Или просто поставить в настройках ресурса не успешных использований больше 1.