Не извлекает код тяжеловесных страниц



  • Откручиваем 15 раз вниз в браузере любую группу в мой мир мэил ру или страницу пользователя, вес страницы по коду несколько мегабайт, выбираем любой способ получения кода страницы (полностью, частично) без разницы. И получаем xml for[documentRoot, css #history_container] timeout. Ставим любой таймаут действия. Эффекта нет, но при открутке на 5-6 страниц все работает норм.. Так как извлечь код тяжеловесной страницы? Снифать запросы и переписывать на хттп клиент неохото.
    Вот такую ошибку ловит catch Таймаут во время выполнения xml for[documentRoot, css #history_container]



  • @kel91 Потому что данные подгружаются ajax запросами и js скрипты дописывают DOM. Короче говоря, этих данных нет в коде страницы.



  • @kel91 said in Не извлекает код тяжеловесных страниц:

    Откручиваем 15 раз вниз в браузере любую группу в мой мир мэил ру или страницу пользователя, вес страницы по коду несколько мегабайт, выбираем любой способ получения кода страницы (полностью, частично) без разницы. И получаем xml for[documentRoot, css #history_container] timeout. Ставим любой таймаут действия. Эффекта нет, но при открутке на 5-6 страниц все работает норм.. Так как извлечь код тяжеловесной страницы? Снифать запросы и переписывать на хттп клиент неохото.
    Вот такую ошибку ловит catch Таймаут во время выполнения xml for[documentRoot, css #history_container]

    Приложите тестовый скрипт



  • Оказалось, просто у меня интернет не тянул загрузку всего контента, а бас не хочет извлекать код недогруженной страницы, туда бы добавить выгрузить мгновенно как с ресурсами, чтобы он не ждал пока что-то догрузится
    0_1550673606071_gfhh.xml



  • @kel91 said in Не извлекает код тяжеловесных страниц:

    Оказалось, просто у меня интернет не тянул загрузку всего контента, а бас не хочет извлекать код недогруженной страницы, туда бы добавить выгрузить мгновенно как с ресурсами, чтобы он не ждал пока что-то догрузится
    0_1550673606071_gfhh.xml

    У вас стоит ожидание полной загрузки после каждой прокрутки
    0_1550722438492_caa595ce-7f50-4f0b-ba7d-e5a2842fc210-изображение.png

    по этому страница уже загружена.

    У меня ваш скрипт отработал без ошибки:
    0_1550723029241_support4.gif

    только FastSpace не говорите, он опять скажет, что в BAS ни чего не работает, но не скажет что именно и при каких условиях :D


    Первый раз вижу "Вызов функции в несколько потоков" в функции OnApplicationStart :D



  • @fox said in Не извлекает код тяжеловесных страниц:

    только FastSpace не говорите, он опять скажет, что в BAS ни чего не работает, но не скажет что именно и при каких условиях

    Помни. Все мы теоретики в этом бренном мире.



  • @fox ок, спасибо за тест, все работает вполне нормально, хоть и медленно все извлекает, просто у меня инет ростелеком... А запуск в многопотоке в он апликейшн придуман для теста, но естественно корректно работать он не стал, скрипт бесконечно выполняется и все.



  • @kel91 said in Не извлекает код тяжеловесных страниц:

    @fox ок, спасибо за тест, все работает вполне нормально, хоть и медленно все извлекает, просто у меня инет ростелеком... А запуск в многопотоке в он апликейшн придуман для теста, но естественно корректно работать он не стал, скрипт бесконечно выполняется и все.

    У меня кстати тоже сейчас ростелеком, хрень редкостная, но зато везде есть :D

    Скорость интернета здесь не причём. Сейчас для теста открыл страницу в BAS, отключил интернет и выполнил действие "Код страницы", действие сработало правильно и вернуло код. Так что код страницы BAS получает из движка браузера, ускорить процесс здесь поможет более мощное железо, или как вариант, по больше оперативки.


Log in to reply