Не работают User-Agent(ы) в Терминальном режиме.
-
Здравствуйте.
Есть, к примеру, простенькая задача - через гет-запрос отправить любую фразу для поиска на Ютуб, а в полученных результатах спарсить пару видео.
Когда без настройки заголовков и прикручивания юзер-агентов отсылаем гет-запрос, то все работает, ютуб присылает в ответ, код страницы результата. Но там ругается, что браузер старый и просит установить более новую версию, потому что эту скоро прекратит использовать.
А когда начинаешь использовать Любой! Юзер-Агент в заголовке, то Терминальная версия перестает работать. Ответ от Ютуба представляет из себя большое количество непонятного кода.
При этом, если этот же Юзер-Агент использовать в Браузерной версии, то все работает нормально.
Отсюда вывод: Терминальная версия работает как-то не так, как должна. Либо я чего-то не понимаю.
Подскажите правильное решение или модернизируйте Терминальную версию.Прикрепляю для примера файлик. Там "опасный" участок кода обходится через метки и в таком виде работает, хотя Ютуб жалуется на старую версию браузера, если обход через метки убрать, ничего не работает.
Temp.xml
-
@NikKey said in Не работают User-Agent(ы) в Терминальном режиме.:
Отсюда вывод: Терминальная версия работает как-то не так, как должна. Либо я чего-то не понимаю.
Последнее. Страница рендерится скриптами. Данные есть в коде страницы в json формате.
-
@UserTrue Спасибо за ответ, пойду искать json-элементы в ручную. Модуль по работе с json в БАС не работает с таким текстом и вычленить их не может.
И еще вопрос - А почему Ютуб ругается и говорит, что старая версия браузера, если делать запрос без Агентов?
В Терминальном режиме действительно старая версия работает?
-
@NikKey said in Не работают User-Agent(ы) в Терминальном режиме.:
В Терминальном режиме действительно старая версия работает?
Это не терминальный режим, и вообще это не браузер. Это http клиент через него вы можете взаимодействовать с сервером напрямую, но в таком случае вам вручную придется делать то, что делает браузер, ставить заголовоки, генерировать различные токкены(если надо) и тд.
-
@UserTrue said in Не работают User-Agent(ы) в Терминальном режиме.:
Это не терминальный режим,
offtop
console цари ))
-
@UserTrue @f0cus ну curl - терминальный инструмент, так что все что относится к get запросам можно называть терминальной версией :)
-
@UserTrue said in Не работают User-Agent(ы) в Терминальном режиме.:
Это не терминальный режим, и вообще это не браузер.
Вы придрались к формулировке, но не ответили на вопрос - в терминальной версии браузер более старой версии? Почему ругается ютуб?
-
@NikKey said in Не работают User-Agent(ы) в Терминальном режиме.:
Вы придрались к формулировке
Во-первых я не придрался, но вы видимо до сих пор не поняли, что http клиент != браузеру от слова "Совсем". Печально, когда люди упорствуют в своем невежестве.
Во-вторых я вам указал в чем причина:
@UserTrue said in Не работают User-Agent(ы) в Терминальном режиме.:в таком случае вам вручную придется делать то, что делает браузер, ставить заголовоки, генерировать различные токкены(если надо) и тд.
Вы скорей всего даже не установили заголовок user-agent, сервери видит, что к нему приходит какой-то странный запрос.
