HTTP Модуль на node.js с TLS, JA3 как у chrome?

[A Former User]

@nazar21015 https://github.com/Danny-Dasilva/CycleTLS
Не идеальный, но исходники есть так что можно подпилить как нужно

[nazar21015]

@UserTrue а чем он отличается от https://github.com/lwthiker/curl-impersonate , только этого как я понял в node js нет.

[A Former User]

@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

@UserTrue а чем он отличается от https://github.com/lwthiker/curl-impersonate , только этого как я понял в node js нет.

Всем...

[Q_Q]

Это должно решить твои проблемы.
Инфа на форуме по got есть, если пошукаешь
https://www.npmjs.com/package/got-scraping

[nazar21015]

@Q_Q Похоже, что это действительно то что нужно, спасибо!

[A Former User]

@Q_Q Разве он обходит ssl проверки? Он вроде только заголовки как у браузеров ставит разве нет?

[nazar21015]

раньше подобные проверки были достаточно редкими, тот же cloudflare их использовал и 5 лет назад, видимо жестко не банили. Сейчас она стала популярнее, и ее любят использовать в тихую, т.е. не жестко банить, а наебывать, меняется поведение сайта.

[sergerdn]

@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

@Q_Q Разве он обходит ssl проверки? Он вроде только заголовки как у браузеров ставит разве нет?

Глянул исходники поверхностно, не увидел ничего, что касается TLS. Вероятно, ты прав.

[nazar21015]

@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел, так как это достаточно массовая тема, особенно с момента, когда cloudflare начал явно блокировать сторонние ja3, вместо того, игнорировать, если не требуется иное.
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет.

[A Former User]

@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений

Я вам же дал паблик решение, единственное которое более менее сносно работает. Но лично я его немного под себя правил

[sergerdn]

@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел,

Решения есть и они паблик.

@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет.

Если делать запросы в контексте браузера, должно все работать, как надо.

Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome.

[Q_Q]

@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts

[A Former User]

@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts

Проверил, есть некоторые косяки. Надо попробовать допилить. Но вообще очень неплохо кажется

[A Former User]

@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts

с http2 там есть косяки https://tls.peet.ws/api/all

[Q_Q]

@sergerdn для этого, при снятии отпечатка теперь берут сортированные данные.
https://github.com/FoxIO-LLC/ja4

[sergerdn]

@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

@sergerdn для этого, при снятии отпечатка теперь берут сортированные данные.
https://github.com/FoxIO-LLC/ja4

"для этого" - это для чего? Если по отношению к цитате ниже, то сортировать список расширений идея не рабочая, я пробовал. Слишком большое сочетание возможных вариантов.

@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome.

[A Former User]

На самом деле сейчас что почти все сайты работают через http2, его реализация и настройки отличаются в разных браузерах. Так вот мне пока не попадалось решений которые не палились бы на этом

[sergerdn]

@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

На самом деле сейчас что почти все сайты работают через http2

Так нет разницы, все равно там есть TCP 3-way handshake.

Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.

Эмулировать в BAS что-то другое, отличное от Chrome, требует и эмуляции транспорта. Что, конечно же, в BAS нет, я проверял.

[A Former User]

@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.

Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах. И получается пройдя проверку tls ты спалишься на этом. Ну и речь тут про запросы, а не браузер

[sergerdn]

@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах.

Да.

@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

И получается пройдя проверку tls ты спалишься на этом.

Да.

@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:

Ну и речь тут про запросы, а не браузер

Да, упустил контест топика.