У меня появляется если cloudflare знает что твой ip адрес фуфло, и начинает подозревать Вас в том что Вы бот, если у Вас ip адрес нормальный и Вы пользуетесь последней версией BAS и отпечатками не старше чем за 1 месяц, то процент ее появления этой каптчи крайне низкий.
Отсюда вывода пользуйтесь нормальными ip адресами к которым не вопросов у cloudflare
поддержу про xpath, работает очень быстро и просто.
вот только смотря кому и зачем их парсить :) если сайтмап построить, то как обойти лимит гугла в 600 урлов? больше он не выдаст. Никто не подскажет, как запарсить все страницы сайта? Остается вариант не из выдачи, а реально ходить по сайту :(