Парсинг страницы с условием

[Den 0]

Я так понимаю, что нужна какая-то проверка на этапе загрузке страницы?
Нет каптчи - едем дальше
Есть каптча - пауза с таймаутом для решения

Как это лучше сделать? И проще.

[spam]

@Den-0 проверяй наличие селектора капчи по url или xpath элемента и если есть выкидывай действие:

Но проще через сервис. стоит копейки

[Den 0]

@spam said in Парсинг страницы с условием:

проверяй наличие селектора капчи по url или xpath элемента и если есть выкидывай действие

Спасибо, изучу

@spam said in Парсинг страницы с условием:

Но проще через сервис. стоит копейки

Да у меня база на 50к ссылок. На сайте прикручен клауд, посчитал, надо 5 тыр потратить, а я чет совсем не готов

Скажи, пожалуйста, а что это может быть? Блоки с таймаутами убрал, всё равно вылазит. Не пойму, куда смотреть

[spam]

@Den-0 оберни блок загрузки страницы в обработку ошибок

[Den 0]

Как в кубиках должно выглядеть решение recaptcha v2?
Я так понимаю, надо ставить проверку наличия капчи на странице через if при каждой загрузке страницы, так? Если есть, то решить, если нет, то пропустить.

Или может быть сразу поставить найти блок и решить капчу, и дополнить кубиком игнор ошибок, чтобы было проще?

Сейчас выглядит так:

[Den 0]

Как победить эту ситуацию?
В сапорте rucaptcha отправили в сапорт BAS.

Суть в том, что наборы картинок решаются слишком долго. Например, решило с лестницами, выезжает следующий набор со светофорами и идет большая пауза перед решением. И так решает 3-4 набора, потом заканчивается время и вылазит ошибка, как на скрине.

[spam]

Какие отпечатки и прокси используешь ?

[Den 0]

@spam прокси от proxy6, ipv4. Прокси норм, пару дней назад даже перелопатил 1к ссылок без капчи. А в среднем где-то 300-400 без капчи.

Отпечатки не использую.
Сейчас выглядит так:

Сейчас смотрю лог после ночной работы скрипта, куча ошибок с капчей. При этом в панели пишет, что решено 349 наборов, но ни одна капча не пройдена полностью на сайте.

Ошибки такие, идут в рандомном порядке:
Произошла ошибка : Captcha not visible
Произошла ошибка : CAPTCHA_FAIL : ERROR_NO_SLOT_AVAILABLE
Произошла ошибка : CAPTCHA_FAIL : ERROR_ZERO_CAPTCHA_FILESIZE
Произошла ошибка : Recaptcha 2 wait timeout
Произошла ошибка : Не удалось дождаться загрузки recaptcha/*/payload

[spam]

@Den-0 если один и тот же сайт долбишь без отпечатков, то не удивительно.
По прокси написал в личку.

[Den 0]

@spam Спасибо, изучу. И по отпечаткам тоже займусь

Отпечатки могут как-то влиять на скорость решения капчи? Или только на факт её появления?