Посоветуйте способ определения на которые действия нужно время, то есть, которые нужно поставить на синхронизацию. и часто есть несколько действий, как понять, что идет сначала, а что потом.
HTTP Модуль на node.js с TLS, JA3 как у chrome?
-
Это должно решить твои проблемы.
Инфа на форуме по got есть, если пошукаешь
https://www.npmjs.com/package/got-scraping -
@Q_Q Разве он обходит ssl проверки? Он вроде только заголовки как у браузеров ставит разве нет?
-
раньше подобные проверки были достаточно редкими, тот же cloudflare их использовал и 5 лет назад, видимо жестко не банили. Сейчас она стала популярнее, и ее любят использовать в тихую, т.е. не жестко банить, а наебывать, меняется поведение сайта.
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@Q_Q Разве он обходит ssl проверки? Он вроде только заголовки как у браузеров ставит разве нет?
Глянул исходники поверхностно, не увидел ничего, что касается TLS. Вероятно, ты прав.
-
@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел, так как это достаточно массовая тема, особенно с момента, когда cloudflare начал явно блокировать сторонние ja3, вместо того, игнорировать, если не требуется иное.
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет. -
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений
Я вам же дал паблик решение, единственное которое более менее сносно работает. Но лично я его немного под себя правил
-
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел,
Решения есть и они паблик.
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет.
Если делать запросы в контексте браузера, должно все работать, как надо.
Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome. -
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts
Проверил, есть некоторые косяки. Надо попробовать допилить. Но вообще очень неплохо кажется
-
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts
с http2 там есть косяки https://tls.peet.ws/api/all
-
-
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@sergerdn для этого, при снятии отпечатка теперь берут сортированные данные.
https://github.com/FoxIO-LLC/ja4"для этого" - это для чего? Если по отношению к цитате ниже, то сортировать список расширений идея не рабочая, я пробовал. Слишком большое сочетание возможных вариантов.
@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome. -
На самом деле сейчас что почти все сайты работают через http2, его реализация и настройки отличаются в разных браузерах. Так вот мне пока не попадалось решений которые не палились бы на этом
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
На самом деле сейчас что почти все сайты работают через http2
Так нет разницы, все равно там есть TCP 3-way handshake.
Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.
Эмулировать в BAS что-то другое, отличное от Chrome, требует и эмуляции транспорта. Что, конечно же, в BAS нет, я проверял.
-
@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.
Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах. И получается пройдя проверку tls ты спалишься на этом. Ну и речь тут про запросы, а не браузер
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах.
Да.
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
И получается пройдя проверку tls ты спалишься на этом.
Да.
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Ну и речь тут про запросы, а не браузер
Да, упустил контест топика.
-
is it possible to use bas fingerprints integrated as the tls client itself? That would be ideal but not sure how thats possible
-
@genericname1 да. Вы же сами отправляете сайту какой у вас девайс и так далее. Туда можно что угодно написать. Это POST запрос обычно
