Как обойти cloud fire?

[segress]

Недавно на сайт добавили эту защиту от ботов и она как-то палит что не настоящий браузер, после ожидания 5 секунд перекидывает на страницу с бесконечным прелоадером и все. Я не понимаю как сайт палит бота, попробовал прокси использовать, профиль и юзер агента, но ничего не помогло

[DoctorKrolic]

@segress Причина номер 1 в подобных случаях, это хреновый ip. Попробуйте прокси поменять. Если всё ещё будет палить, то нужно уже будет детальнее разбираться

[Fox]

@segress said in Как обойти cloud fire?:

Недавно на сайт добавили эту защиту от ботов и она как-то палит что не настоящий браузер, после ожидания 5 секунд перекидывает на страницу с бесконечным прелоадером и все. Я не понимаю как сайт палит бота, попробовал прокси использовать, профиль и юзер агента, но ничего не помогло

Попробуйте отключить модуль AjaxReCaptcha2

[mikivin]

а как обойти cloud fire на get запросе?

[A Former User]

@mikivin получить куки из браузера и использовать тот же прокси и юзерагент что и в браузере был. И встроенный http клиент не пройдет проверку. Нужно использовать nodejs или альтернативный модуль(где то есть в разделе с модулями)

[mikivin]

на пример мне нужно спарсить https://www.apkmirror.com/ - различные данные, при заходе появляется табличка cloud flare и нужно нажать галочку, через бразуер это сделать не сложно, а вот в запросах через GET что со встроенном http, что в кастомных не получается. а нужно через запрос(

[A Former User]

@mikivin said in Как обойти cloud fire?:

на пример мне нужно спарсить https://www.apkmirror.com/ - различные данные, при заходе появляется табличка cloud flare и нужно нажать галочку, через бразуер это сделать не сложно, а вот в запросах через GET что со встроенном http, что в кастомных не получается. а нужно через запрос(

вы не сделаете это на запросах, этот этап в любом случае нужно проходить через браузер, а дальше как я написал.

[Farak1]

Как решать капчу cloudflare, при Http запросах? Что нужно отправлять и т.д?

[mikivin]

вот и я задаюсь вопросом как сделать - да через браузер можно сделать зайти кликнкуть дождаться загрузки, перенести куки в http и дальше собирать информацию, но если это нужно сделать например 1 милл раз но хотелось бы найти решение на запросах - так как запустить большое количество браузеров сложно.

[Fox]

@mikivin said in Как обойти cloud fire?:

вот и я задаюсь вопросом как сделать - да через браузер можно сделать зайти кликнкуть дождаться загрузки, перенести куки в http и дальше собирать информацию, но если это нужно сделать например 1 милл раз но хотелось бы найти решение на запросах - так как запустить большое количество браузеров сложно.

Основная задача cloudflare как раз и заключается в том, что бы на сайт нельзя было зайти запросом, благодаря этому сайты могут быть защищены от ddos атак: https://ru.wikipedia.org/wiki/Cloudflare. Судя по вики, на 2022 год число сотрудников компании составляет 3217 человек, все они сидят и придумывают хитрые алгоритмы, которые сложно было бы отреверсить. Ведь на запросах пройти капчу можно, но для этого нужно выполнить все вычисления в ручную, которые в браузере выполняются автоматически

Я лично когда то делал обход cloudflare на запросах и он работал, но код меняется часто и поддерживать этот обход выходит себе дороже