Bablosoft

Не работают User-Agent(ы) в Терминальном режиме.

Поддержка
  • NikKeyN

    Здравствуйте.
    Есть, к примеру, простенькая задача - через гет-запрос отправить любую фразу для поиска на Ютуб, а в полученных результатах спарсить пару видео.
    Когда без настройки заголовков и прикручивания юзер-агентов отсылаем гет-запрос, то все работает, ютуб присылает в ответ, код страницы результата. Но там ругается, что браузер старый и просит установить более новую версию, потому что эту скоро прекратит использовать.
    d319c48f-c1f8-49f0-a209-af4274de9f0d-image.png

    А когда начинаешь использовать Любой! Юзер-Агент в заголовке, то Терминальная версия перестает работать. Ответ от Ютуба представляет из себя большое количество непонятного кода.
    При этом, если этот же Юзер-Агент использовать в Браузерной версии, то все работает нормально.
    Отсюда вывод: Терминальная версия работает как-то не так, как должна. Либо я чего-то не понимаю.
    Подскажите правильное решение или модернизируйте Терминальную версию.

    Прикрепляю для примера файлик. Там "опасный" участок кода обходится через метки и в таком виде работает, хотя Ютуб жалуется на старую версию браузера, если обход через метки убрать, ничего не работает.
    Temp.xml

    ? 1 Reply
    0
  • ?

    @NikKey said in Не работают User-Agent(ы) в Терминальном режиме.:

    Отсюда вывод: Терминальная версия работает как-то не так, как должна. Либо я чего-то не понимаю.

    Последнее. Страница рендерится скриптами. Данные есть в коде страницы в json формате.

    NikKeyN 1 Reply
    1
  • NikKeyN

    @UserTrue Спасибо за ответ, пойду искать json-элементы в ручную. Модуль по работе с json в БАС не работает с таким текстом и вычленить их не может.
    И еще вопрос - А почему Ютуб ругается и говорит, что старая версия браузера, если делать запрос без Агентов?
    В Терминальном режиме действительно старая версия работает?

    ? 1 Reply
    0
  • ?

    @NikKey said in Не работают User-Agent(ы) в Терминальном режиме.:

    В Терминальном режиме действительно старая версия работает?

    Это не терминальный режим, и вообще это не браузер. Это http клиент через него вы можете взаимодействовать с сервером напрямую, но в таком случае вам вручную придется делать то, что делает браузер, ставить заголовоки, генерировать различные токкены(если надо) и тд.

    f0cusF NikKeyN 2 Replies
    2
  • f0cusF

    @UserTrue said in Не работают User-Agent(ы) в Терминальном режиме.:

    Это не терминальный режим,

    offtop
    console цари ))

    приходит время..)

    ? 1 Reply
    0
  • ?

    @UserTrue @f0cus ну curl - терминальный инструмент, так что все что относится к get запросам можно называть терминальной версией :)

    0
  • NikKeyN

    @UserTrue said in Не работают User-Agent(ы) в Терминальном режиме.:

    Это не терминальный режим, и вообще это не браузер.

    Вы придрались к формулировке, но не ответили на вопрос - в терминальной версии браузер более старой версии? Почему ругается ютуб?

    ? 1 Reply
    0
  • ?

    @NikKey said in Не работают User-Agent(ы) в Терминальном режиме.:

    Вы придрались к формулировке

    Во-первых я не придрался, но вы видимо до сих пор не поняли, что http клиент != браузеру от слова "Совсем". Печально, когда люди упорствуют в своем невежестве.

    Во-вторых я вам указал в чем причина:
    @UserTrue said in Не работают User-Agent(ы) в Терминальном режиме.:

    в таком случае вам вручную придется делать то, что делает браузер, ставить заголовоки, генерировать различные токкены(если надо) и тд.

    Вы скорей всего даже не установили заголовок user-agent, сервери видит, что к нему приходит какой-то странный запрос.

    1