Парсинг страницы с условием

[Den 0]

Здравствуйте!

Стоит такая задача:
Есть список ссылок в тхт
Нужно зайти на каждую
Проверить в коде наличие конкретного текста
Если есть - скачать хтмл в папку
Если нет - пропуск

Очень пригодились бы подсказки сообщества в плане какие блоки в этой последовательности использовать.
Опыта у меня в BAS совсем мало, сейчас активно изучаю мануалы. Бюджета нет, а сделать надо. Поэтому буду рад любой помощи. Заранее благодарю.

[spam]

@Den-0 начните с этой темы: https://community.bablosoft.com/topic/949/часто-задаваемые-вопросы

также поможет прочтение справки к модулям и действиям:

[Den 0]

@spam спасибо, изучу

[Den 0]

Каким кубиком можно очистить текст в переменной от лишних символов? Этим текстом потом будет называться итоговый файл в папке, чтобы конфликтов не было.
Чиститься будет регуляркой - [^a-zA-Zа-яА-Я0-9_ ]

Делаю так:

1. Xpath получить текст - тут я забираю такой фрагмент кода //h1[@class='text-dark text-center text-sm-left overflow-hidden']
2. Потом его надо чем-то обработать и сохранить в другую переменную, уже "чистовую", которая будет в имени файла.

Вопрос - чем обработать? Видать поплыл уже, не могу найти инструмент.

[spam]

@Den-0

Либо JS.

[Den 0]

@spam Подскажите, пожалуйста, нашел как регуляркой чистить, результат норм. Но не пойму, что надо указывать в поле "Заменить на". А с пустым полем ошибка в скрипте.

[spam]

@Den-0

[Den 0]

@spam Дай бог здоровья, помогло! Увы, как новорег, не могу репутации накинуть за помощь.

Возник вопрос по каптче. Так как у меня бомж-версия проекта, то каптчу я буду пока решать вручную внутри BASa.
Как сделать так, чтобы при возникновении каптчи скрипт вставал на паузу и ждал, пока я ее решу? А когда решу, то ехал дальше по сюжету.

Сейчас выглядит так:

[Den 0]

Я так понимаю, что нужна какая-то проверка на этапе загрузке страницы?
Нет каптчи - едем дальше
Есть каптча - пауза с таймаутом для решения

Как это лучше сделать? И проще.

[spam]

@Den-0 проверяй наличие селектора капчи по url или xpath элемента и если есть выкидывай действие:

Но проще через сервис. стоит копейки

[Den 0]

@spam said in Парсинг страницы с условием:

проверяй наличие селектора капчи по url или xpath элемента и если есть выкидывай действие

Спасибо, изучу

@spam said in Парсинг страницы с условием:

Но проще через сервис. стоит копейки

Да у меня база на 50к ссылок. На сайте прикручен клауд, посчитал, надо 5 тыр потратить, а я чет совсем не готов

Скажи, пожалуйста, а что это может быть? Блоки с таймаутами убрал, всё равно вылазит. Не пойму, куда смотреть

[spam]

@Den-0 оберни блок загрузки страницы в обработку ошибок

[Den 0]

Как в кубиках должно выглядеть решение recaptcha v2?
Я так понимаю, надо ставить проверку наличия капчи на странице через if при каждой загрузке страницы, так? Если есть, то решить, если нет, то пропустить.

Или может быть сразу поставить найти блок и решить капчу, и дополнить кубиком игнор ошибок, чтобы было проще?

Сейчас выглядит так:

[Den 0]

Как победить эту ситуацию?
В сапорте rucaptcha отправили в сапорт BAS.

Суть в том, что наборы картинок решаются слишком долго. Например, решило с лестницами, выезжает следующий набор со светофорами и идет большая пауза перед решением. И так решает 3-4 набора, потом заканчивается время и вылазит ошибка, как на скрине.

[spam]

Какие отпечатки и прокси используешь ?

[Den 0]

@spam прокси от proxy6, ipv4. Прокси норм, пару дней назад даже перелопатил 1к ссылок без капчи. А в среднем где-то 300-400 без капчи.

Отпечатки не использую.
Сейчас выглядит так:

Сейчас смотрю лог после ночной работы скрипта, куча ошибок с капчей. При этом в панели пишет, что решено 349 наборов, но ни одна капча не пройдена полностью на сайте.

Ошибки такие, идут в рандомном порядке:
Произошла ошибка : Captcha not visible
Произошла ошибка : CAPTCHA_FAIL : ERROR_NO_SLOT_AVAILABLE
Произошла ошибка : CAPTCHA_FAIL : ERROR_ZERO_CAPTCHA_FILESIZE
Произошла ошибка : Recaptcha 2 wait timeout
Произошла ошибка : Не удалось дождаться загрузки recaptcha/*/payload

[spam]

@Den-0 если один и тот же сайт долбишь без отпечатков, то не удивительно.
По прокси написал в личку.

[Den 0]

@spam Спасибо, изучу. И по отпечаткам тоже займусь

Отпечатки могут как-то влиять на скорость решения капчи? Или только на факт её появления?