Не извлекает код тяжеловесных страниц

[kel91]

Откручиваем 15 раз вниз в браузере любую группу в мой мир мэил ру или страницу пользователя, вес страницы по коду несколько мегабайт, выбираем любой способ получения кода страницы (полностью, частично) без разницы. И получаем xml for[documentRoot, css #history_container] timeout. Ставим любой таймаут действия. Эффекта нет, но при открутке на 5-6 страниц все работает норм.. Так как извлечь код тяжеловесной страницы? Снифать запросы и переписывать на хттп клиент неохото.
Вот такую ошибку ловит catch Таймаут во время выполнения xml for[documentRoot, css #history_container]

[A Former User]

@kel91 Потому что данные подгружаются ajax запросами и js скрипты дописывают DOM. Короче говоря, этих данных нет в коде страницы.

[Fox]

@kel91 said in Не извлекает код тяжеловесных страниц:

Откручиваем 15 раз вниз в браузере любую группу в мой мир мэил ру или страницу пользователя, вес страницы по коду несколько мегабайт, выбираем любой способ получения кода страницы (полностью, частично) без разницы. И получаем xml for[documentRoot, css #history_container] timeout. Ставим любой таймаут действия. Эффекта нет, но при открутке на 5-6 страниц все работает норм.. Так как извлечь код тяжеловесной страницы? Снифать запросы и переписывать на хттп клиент неохото.
Вот такую ошибку ловит catch Таймаут во время выполнения xml for[documentRoot, css #history_container]

Приложите тестовый скрипт

[kel91]

Оказалось, просто у меня интернет не тянул загрузку всего контента, а бас не хочет извлекать код недогруженной страницы, туда бы добавить выгрузить мгновенно как с ресурсами, чтобы он не ждал пока что-то догрузится
0_1550673606071_gfhh.xml

[Fox]

@kel91 said in Не извлекает код тяжеловесных страниц:

Оказалось, просто у меня интернет не тянул загрузку всего контента, а бас не хочет извлекать код недогруженной страницы, туда бы добавить выгрузить мгновенно как с ресурсами, чтобы он не ждал пока что-то догрузится
0_1550673606071_gfhh.xml

У вас стоит ожидание полной загрузки после каждой прокрутки

по этому страница уже загружена.

У меня ваш скрипт отработал без ошибки:

только FastSpace не говорите, он опять скажет, что в BAS ни чего не работает, но не скажет что именно и при каких условиях :D

---

Первый раз вижу "Вызов функции в несколько потоков" в функции OnApplicationStart :D

[xclsv]

@fox said in Не извлекает код тяжеловесных страниц:

только FastSpace не говорите, он опять скажет, что в BAS ни чего не работает, но не скажет что именно и при каких условиях

Помни. Все мы теоретики в этом бренном мире.

[kel91]

@fox ок, спасибо за тест, все работает вполне нормально, хоть и медленно все извлекает, просто у меня инет ростелеком... А запуск в многопотоке в он апликейшн придуман для теста, но естественно корректно работать он не стал, скрипт бесконечно выполняется и все.

[Fox]

@kel91 said in Не извлекает код тяжеловесных страниц:

@fox ок, спасибо за тест, все работает вполне нормально, хоть и медленно все извлекает, просто у меня инет ростелеком... А запуск в многопотоке в он апликейшн придуман для теста, но естественно корректно работать он не стал, скрипт бесконечно выполняется и все.

У меня кстати тоже сейчас ростелеком, хрень редкостная, но зато везде есть :D

Скорость интернета здесь не причём. Сейчас для теста открыл страницу в BAS, отключил интернет и выполнил действие "Код страницы", действие сработало правильно и вернуло код. Так что код страницы BAS получает из движка браузера, ускорить процесс здесь поможет более мощное железо, или как вариант, по больше оперативки.