@Wildberies said in Как проверить регуляркой?:
Пример текста:
Hi here is CGKvsYgXkfJAPLWCEMQtrb73E5jcDqk5TUyHEP8d1BL8 , want to join!
[A-z\d]{15,}
Как обойти cloud fire?
-
Недавно на сайт добавили эту защиту от ботов и она как-то палит что не настоящий браузер, после ожидания 5 секунд перекидывает на страницу с бесконечным прелоадером и все. Я не понимаю как сайт палит бота, попробовал прокси использовать, профиль и юзер агента, но ничего не помогло
-
@segress said in Как обойти cloud fire?:
Недавно на сайт добавили эту защиту от ботов и она как-то палит что не настоящий браузер, после ожидания 5 секунд перекидывает на страницу с бесконечным прелоадером и все. Я не понимаю как сайт палит бота, попробовал прокси использовать, профиль и юзер агента, но ничего не помогло
Попробуйте отключить модуль AjaxReCaptcha2
-
@mikivin получить куки из браузера и использовать тот же прокси и юзерагент что и в браузере был. И встроенный http клиент не пройдет проверку. Нужно использовать nodejs или альтернативный модуль(где то есть в разделе с модулями)
-
на пример мне нужно спарсить https://www.apkmirror.com/ - различные данные, при заходе появляется табличка cloud flare и нужно нажать галочку, через бразуер это сделать не сложно, а вот в запросах через GET что со встроенном http, что в кастомных не получается. а нужно через запрос(
-
@mikivin said in Как обойти cloud fire?:
на пример мне нужно спарсить https://www.apkmirror.com/ - различные данные, при заходе появляется табличка cloud flare и нужно нажать галочку, через бразуер это сделать не сложно, а вот в запросах через GET что со встроенном http, что в кастомных не получается. а нужно через запрос(
вы не сделаете это на запросах, этот этап в любом случае нужно проходить через браузер, а дальше как я написал.
-
вот и я задаюсь вопросом как сделать - да через браузер можно сделать зайти кликнкуть дождаться загрузки, перенести куки в http и дальше собирать информацию, но если это нужно сделать например 1 милл раз но хотелось бы найти решение на запросах - так как запустить большое количество браузеров сложно.
-
@mikivin said in Как обойти cloud fire?:
вот и я задаюсь вопросом как сделать - да через браузер можно сделать зайти кликнкуть дождаться загрузки, перенести куки в http и дальше собирать информацию, но если это нужно сделать например 1 милл раз но хотелось бы найти решение на запросах - так как запустить большое количество браузеров сложно.
Основная задача cloudflare как раз и заключается в том, что бы на сайт нельзя было зайти запросом, благодаря этому сайты могут быть защищены от ddos атак: https://ru.wikipedia.org/wiki/Cloudflare. Судя по вики, на 2022 год число сотрудников компании составляет 3217 человек, все они сидят и придумывают хитрые алгоритмы, которые сложно было бы отреверсить. Ведь на запросах пройти капчу можно, но для этого нужно выполнить все вычисления в ручную, которые в браузере выполняются автоматически
Я лично когда то делал обход cloudflare на запросах и он работал, но код меняется часто и поддерживать этот обход выходит себе дороже
