@zeellss said in Как обойти 429 ошибку, софт на запросах:
@UserTrue Каковы вообще шансы, если сайту буквально месяца 2. Или есть другие способы настоящий домен найти
Не проще проверить? Но скорей всего их нет. И не домен а ip . Я их не знаю.
Как обойти проверку браузера при каждом открытии нового урл
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
Так можно тот же клауд фактически на запросах проходить ...
С добрым утром :-))))
У меня половина скриптов состоит из микса с кодом в браузере. Но это возможно отследить самим сайтом, поэтому надо тут подходить с умом, понимая, что ты делаешь и чем это может грозить.
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
Из этого прям отдельный модуль можно запелить типо http в контексте браузера.
Идея не новая. К примеру, https://www.cypress.io/, работает целиком в браузере(код для тестов бандлится в один файлик и загружается в браузер во время выполнения теста).
-
С добрым утром :-))))
оно мне без надобности, но часто видел сообщения на форуме что на запросах проблемы с ja3, а модуль альтернативный который, хоть и проходит, но в многопотоке жалуются что не работает.
А ты предложил решение, которое по сути закрывает эту проблему, без использования доп модулей.
Так что респект.
P.S: Ссори, за то что негативно о тебе отзывался. Но в том контексте откровенно все подбешивать стали, не уловив сути потребностей разработчика.Если оформишь это решение в виде модуля - то репу себе хорошо поднимешь.
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
А ты предложил решение, которое по сути закрывает эту проблему, без использования доп модулей.
Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS
-
Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS
Ну нагрузка то будет только на первой загрузке странице, а дальше норм. Я так полагаю можно уменьшить количество qt - и половинчатое решение как бы есть.
Согласен, что лучше обновить либу curl.Но вот в данном случае вроде не от ja3 зависит, не смотрел этот сайт ?
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
Но вот данном случае вроде не от ja3 зависит, не смотрел этот сайт ?
Не смотрел, своих сайтов хватает )
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
Не смотрел, своих сайтов хватает )
ну это понятно, но может зоркий глаз по бырому определит в чем дело ...
Там в куках сигнатура, которая как мне кажется создана на основе данных проверки браузера и ssl отпечатка. Если просто взять эти куки, но ssl параметры http клиента не будут совпадать, то он потребует заново пройти проверку
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
@UserTrue ну примерно так и думал, удивила только скорость проверки ...
Скрипт проверки не сильно сложный можно отреверсить, было бы желание )
-
@UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:
Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS
Да почему же, в каких-то случаях вполне себе решение. Зависит от задачи.
- открыл сайт в браузере
- кодом быстро получил стопиццот страниц сайта. сохранил их(видел недавно ровно такую задачу на форуме)
@UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:
Там в куках сигнатура, которая как мне кажется создана на основе данных проверки браузера и ssl отпечатка.
Вероятно, а моя гипотеза выше насчет анализа TCP/IP была неверной. Несмотря на то, что если бы они так сделали - это был бы максимально надежный путь, но они не сделали.
Не будет повторной проверки на бота, если:
- открыть страницу сайта, скопировать все кукисы
- закрыть браузер
- открыть тот же браузер, вставить скопированные кукисы ранее
- открыть нужный сайт
Выходной ip, user agent, etc не пробовал менять на предпоследнем этапе ради теста.
