@univej Это называется кэш браузера, раздел сеть разрешить кэш, по запросу получить все по маске (Получить все элементы кэша) если сделать маску такой * он все в одну переменную и положит как вам хочется. Но это действие сильно подгружает. там есть действие лучше, можно маску указать целевую и можно проверять был ли запрос, эти экшены менее требовательны к памяти.
upd что бы получить например ваш запрос то маску можно наверное такое https://www.google.com/pages/drt*
Получите все что попадет под маску в переменную, там все будет от ответа сервера в кодировке base64 до заголовков
HTTP Модуль на node.js с TLS, JA3 как у chrome?
-
@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел, так как это достаточно массовая тема, особенно с момента, когда cloudflare начал явно блокировать сторонние ja3, вместо того, игнорировать, если не требуется иное.
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет. -
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений
Я вам же дал паблик решение, единственное которое более менее сносно работает. Но лично я его немного под себя правил
-
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@sergerdn да там настройки на очень низком уровне нужно менять. Я удивлен что мы сейчас вообще это обсуждаем и нет никаких паблик решений, либо я еще не нашел,
Решения есть и они паблик.
@nazar21015 said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Меня еще больше удивляет, когда разрабатывался Axios и ему подобные, что изначально они не были сделаны идентичны хрому. Возможно, для рабочих задач( не фрод) это значения не имеет.
Если делать запросы в контексте браузера, должно все работать, как надо.
Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome. -
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts
Проверил, есть некоторые косяки. Надо попробовать допилить. Но вообще очень неплохо кажется
-
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@UserTrue судя по всему, да https://github.com/apify/got-scraping/blob/master/src/hooks/tls.ts
с http2 там есть косяки https://tls.peet.ws/api/all
-
-
@Q_Q said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
@sergerdn для этого, при снятии отпечатка теперь берут сортированные данные.
https://github.com/FoxIO-LLC/ja4"для этого" - это для чего? Если по отношению к цитате ниже, то сортировать список расширений идея не рабочая, я пробовал. Слишком большое сочетание возможных вариантов.
@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Да и Chrome относительно недавно изменил поведение отпечатка TLS. Теперь там случайный список поддерживаемых протоколов, в отличии как было раньше - статичный.
А это значит, что нет такого понятия как отпечаток JA3 для Chrome. -
На самом деле сейчас что почти все сайты работают через http2, его реализация и настройки отличаются в разных браузерах. Так вот мне пока не попадалось решений которые не палились бы на этом
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
На самом деле сейчас что почти все сайты работают через http2
Так нет разницы, все равно там есть TCP 3-way handshake.
Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.
Эмулировать в BAS что-то другое, отличное от Chrome, требует и эмуляции транспорта. Что, конечно же, в BAS нет, я проверял.
-
@sergerdn said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Другое дело, что реализация транспорта http2 в разных движках разная, в Chrome одна реализация, в Firefox другая.
Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах. И получается пройдя проверку tls ты спалишься на этом. Ну и речь тут про запросы, а не браузер
-
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Об этом и речь, там отличаются настройки http2, есть отличия в самих фреймах.
Да.
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
И получается пройдя проверку tls ты спалишься на этом.
Да.
@UserTrue said in HTTP Модуль на node.js с TLS, JA3 как у chrome?:
Ну и речь тут про запросы, а не браузер
Да, упустил контест топика.
-
is it possible to use bas fingerprints integrated as the tls client itself? That would be ideal but not sure how thats possible
-
@genericname1 да. Вы же сами отправляете сайту какой у вас девайс и так далее. Туда можно что угодно написать. Это POST запрос обычно
