@smeckoi77 Спасибо!
Как обойти проверку браузера при каждом открытии нового урл
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
А ты предложил решение, которое по сути закрывает эту проблему, без использования доп модулей.
Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS
-
Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS
Ну нагрузка то будет только на первой загрузке странице, а дальше норм. Я так полагаю можно уменьшить количество qt - и половинчатое решение как бы есть.
Согласен, что лучше обновить либу curl.Но вот в данном случае вроде не от ja3 зависит, не смотрел этот сайт ?
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
Но вот данном случае вроде не от ja3 зависит, не смотрел этот сайт ?
Не смотрел, своих сайтов хватает )
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
Не смотрел, своих сайтов хватает )
ну это понятно, но может зоркий глаз по бырому определит в чем дело ...
Там в куках сигнатура, которая как мне кажется создана на основе данных проверки браузера и ssl отпечатка. Если просто взять эти куки, но ssl параметры http клиента не будут совпадать, то он потребует заново пройти проверку
-
@DuckDuck said in Как обойти проверку браузера при каждом открытии нового урл:
@UserTrue ну примерно так и думал, удивила только скорость проверки ...
Скрипт проверки не сильно сложный можно отреверсить, было бы желание )
-
@UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:
Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS
Да почему же, в каких-то случаях вполне себе решение. Зависит от задачи.
- открыл сайт в браузере
- кодом быстро получил стопиццот страниц сайта. сохранил их(видел недавно ровно такую задачу на форуме)
@UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:
Там в куках сигнатура, которая как мне кажется создана на основе данных проверки браузера и ssl отпечатка.
Вероятно, а моя гипотеза выше насчет анализа TCP/IP была неверной. Несмотря на то, что если бы они так сделали - это был бы максимально надежный путь, но они не сделали.
Не будет повторной проверки на бота, если:
- открыть страницу сайта, скопировать все кукисы
- закрыть браузер
- открыть тот же браузер, вставить скопированные кукисы ранее
- открыть нужный сайт
Выходной ip, user agent, etc не пробовал менять на предпоследнем этапе ради теста.
