На 26.5.1 есть такие ишью:
Я использую подход - разрешить кеш > загружаю страницу > нахожу нужный запрос в списке кеша, и сохраняю заголовки > далее использую эти заголовки в гет запросах.
Я использую мобильные отпечатки!
Так вот при сравнении через фидлер обнаружил, что часть заголовков нехватает в сохраненных в кеше, один лишний, и юзер агент не правильный.
Нехватает в моем случае таких заголовков в сохраненном в кеш:
origin: https://mysite
sec-fetch-site: same-origin
sec-fetch-mode: cors
sec-fetch-dest: empty
accept-encoding: gzip, deflate, br
Лишний заголовок:
content-type: application/json
Причем этот заголовок добавляет уже сам http клиент баса.
Юзер агент который был когда делал запрос через браузер:
user-agent: Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36
то есть Android
юзер агент в кеше:
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
то есть Windows
@Nicolas said in Выпущена 26.5.0 версия BrowserAutomationStudio:
Я использую подход - разрешить кеш > загружаю страницу > нахожу нужный запрос в списке кеша, и сохраняю заголовки > далее использую эти заголовки в гет запросах.
Надо смотреть какие заголовки шлет браузер снаружи. Я сделал небольшой сайтик, который покалывает мне заголовки, что отдает браузер.
В кэше заголовки неправильные.
@sergerdn said in Выпущена 26.5.0 версия BrowserAutomationStudio:
@Nicolas said in Выпущена 26.5.0 версия BrowserAutomationStudio:
Я использую подход - разрешить кеш > загружаю страницу > нахожу нужный запрос в списке кеша, и сохраняю заголовки > далее использую эти заголовки в гет запросах.
Надо смотреть какие заголовки шлет браузер снаружи. Я сделал небольшой сайтик, который покалывает мне заголовки, что отдает браузер.
В кэше заголовки неправильные.
Сайты могут создавать воркеров и тянуть заголовки оттуда, если такого воркера можно создавать для запросов в кэш, то и заголовок можно вытянуть фейковый.
@FastSpace Стесняюсь спросить какое api предоставляет возможность на клиенте получить эти данные?) Worker это что то вроде отдельного потока, причем с более ограниченным функционалом
@Q_Q said in Выпущена 26.5.0 версия BrowserAutomationStudio:
@UserTrue думаю, речь о манки или прокси функции поверх ajax
Разве можно получить заголовки запроса ? (не ответа)
@UserTrue said in Выпущена 26.5.0 версия BrowserAutomationStudio:
@FastSpace Стесняюсь спросить какое api предоставляет возможность на клиенте получить эти данные?) Worker это что то вроде отдельного потока, причем с более ограниченным функционалом
Я знаю что такое воркер и как он работает, сам по себе воркер не отправляет никуда свои данные на сервера, но он может обмениваться с браузер через post message теми данными о чем сам знает, запросы у этого воркера ходят внутри браузера, у этих запросов свои заголовки которые тоже надо подменять.
Например сейчас язык у воркера для всех прокси всегда на английском языке и всем поепать просто, если бы я не заметил, хер бы кто обратил внимание. Я уверен что если копню тему глубже то можно выдернуть будет и те кривые заголовки и фейковый UA.
@FastSpace said in Выпущена 26.5.0 версия BrowserAutomationStudio:
уверен что если копню тему глубже то можно выдернуть будет и те кривые заголовки и фейковый UA.
Копни) то что раньше текло через воркер я в курсе
@UserTrue said in Выпущена 26.5.0 версия BrowserAutomationStudio:
@FastSpace said in Выпущена 26.5.0 версия BrowserAutomationStudio:
уверен что если копню тему глубже то можно выдернуть будет и те кривые заголовки и фейковый UA.
Копни) то что раньше текло через воркер я в курсе
Там и сейчас проблема есть, в воркере всегда язык en.
@FastSpace блин, я вроде практическую задачу привел, где бы было хорошо и поправить (понятно что можно и костыли прикрутить), а вы опять сферического коня в вакууме ...
Есть примеры сайтов которые так палят ?
