Мониторинг запросов



  • Наверное, была бы полезна функция мониторинга запросов по маске. С помощью нее можно будет парсить контент, который грузится с сервера по частям с рандомными ссылками (например видео). Правда, не знаю, как увеличить скорость запросов - видео не всегда грузится без остановки, а подгружается по мере надобности. Возможно, можно как-то ускорить течение времени в работе javascript (что-то типа speedhack). В конце мониторинга будет массив с запросами, из которых можно получить весь нужный файл.
    Либо же данная функция поможет в парсинге контента, у которого ссылка генерируется рандомно и средствами js. Тогда просто ставим мониторинг например на mediasite.ru/video/*.mp4



  • Это наверное не так просто поскольку качать потоковое видео со стриминговых площадок сейчас могут только либо узко направленные софты, либо Internet Download Manager. Ютуб тоже можно считать "потоко-стриминговым" сервисом.



  • @venom777 Почему не так просто? Как раз с этой функцией было бы просто. Все запросы, попадающие под фильтр, сохраняются в массиве. Затем массив перебирается, и каждый фрагмент склеивается в один файл (склейка уже своими силами, в проекте, но тогда еще нужно добавить поддержку бинарных данных, сейчас с файлами работает как с текстом, если не ошибся)


  • administrators

    @blackhacker Сейчас содержание ответа от сервера можно получать через кеш и ответы склеиваются, но не по оригинальной маске, а в урл запросов. Я сделаю действие, которое получает список урл в кеше, с помощью него можно будет решить вашу задачу.
    С бинарными данными можно работать с помощью base64



  • Еще хотел предложить сделать перехват и подмену контента в запросах, но это уж на ваше усмотрение. Пока в мыслях только два применения, но возможно их будет больше.

    1. Внедрение какого-либо js-скрипта. Можно запретить запрос, а затем уже выполнить js на странице, но тогда сработает событие onerror (если есть), если запрос запрещен и загрузка не удалась.
    2. Загрузка статического контента, который не меняется. Например, если используются плохие прокси, то можно загружать статический контент из сохраненных файлов, уменьшив количество запросов к серверу. Для этого есть кеш, но он ведь очищается после сброса браузера?

  • administrators

    @blackhacker Да, у меня тоже была такая идея, с текущей реализацией это сделать просто.
    По второму пункту, можно будет задавать папку, куда хром будет писать временные файлы.



  • удалось ли уже реализовать данные решения, касательно отсекания *.mp4 или подмены запроса на другой, например локальный, что бы все тяжелые, но необходимые элементы страницы кешировать локально и не создавать нагрузку на канал. Было бы здорово :)


  • administrators

    @Sevenup Пока нет.



  • Подмену js кто-то делал в басе?
    Я ток догадался через фидлер автореспонс делать... Работает конечно, но хотелось бы сразу в басе это делать)