@UserTrue
Когда искал по форуму, часто встречал ответы этого пользователя. Если найдется минутка, поделитесь опытом. Пока выделил два возможных решения замены curl http. Может есть еще варианты? Какой вариант для вас лучше?
HTTP Модуль на node.js с TLS, JA3 как у chrome?
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@Q_Q Разве он обходит ssl проверки? Он вроде только заголовки как у браузеров ставит разве нет?
Глянул исходники поверхностно, не увидел ничего, что касается TLS. Вероятно, ты прав.
-
@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел, так как это достаточно массовая тема, особенно с момента, когда cloudflare начал явно блокировать сторонние ja3, вместо того, игнорировать, если не требуется иное.
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет. -
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений
Я вам же дал паблик решение, единственное которое более менее сносно работает. Но лично я его немного под себя правил
-
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел,
Решения есть и они паблик.
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет.
Если делать запросы в контексте браузера, должно все работать, как надо.
Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome. -
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts
Проверил, есть некоторые косяки. Надо попробовать допилить. Но вообще очень неплохо кажется
-
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts
с http2 там есть косяки https://tls.peet.ws/api/all
-
-
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@sergerdn для этого, при снятии отпечатка теперь берут сортированные данные.
https://github.com/FoxIO-LLC/ja4"для этого" - это для чего? Если по отношению к цитате ниже, то сортировать список расширений идея не рабочая, я пробовал. Слишком большое сочетание возможных вариантов.
@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome. -
На самом деле сейчас что почти все сайты работают через http2, его реализация и настройки отличаются в разных браузерах. Так вот мне пока не попадалось решений которые не палились бы на этом
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
На самом деле сейчас что почти все сайты работают через http2
Так нет разницы, все равно там есть TCP 3-way handshake.
Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.
Эмулировать в BAS что-то другое, отличное от Chrome, требует и эмуляции транспорта. Что, конечно же, в BAS нет, я проверял.
-
@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.
Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах. И получается пройдя проверку tls ты спалишься на этом. Ну и речь тут про запросы, а не браузер
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах.
Да.
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
И получается пройдя проверку tls ты спалишься на этом.
Да.
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Ну и речь тут про запросы, а не браузер
Да, упустил контест топика.
-
is it possible to use bas fingerprints integrated as the tls client itself? That would be ideal but not sure how thats possible
-
@genericname1 да. Вы же сами отправляете сайту какой у вас девайс и так далее. Туда можно что угодно написать. Это POST запрос обычно
