@univej Это называется кэш браузера, раздел сеть разрешить кэш, по запросу получить все по маске (Получить все элементы кэша) если сделать маску такой * он все в одну переменную и положит как вам хочется. Но это действие сильно подгружает. там есть действие лучше, можно маску указать целевую и можно проверять был ли запрос, эти экшены менее требовательны к памяти.
upd что бы получить например ваш запрос то маску можно наверное такое https://www.google.com/pages/drt*
Получите все что попадет под маску в переменную, там все будет от ответа сервера в кодировке base64 до заголовков
Вопрос про подгрузку xpath
-
@alexqwerty ну насчет последнего [[[переменная]]] то нужно поставить пробелы примерно вот так [ [[переменная]] ] :)
-
@kimoo так, спасибо, это уже что то. Просто запилил парсер в визуально, а 1 к он парсит час, вот и хочу понять как ускорить. Уже просмотрел немного инфы про пост и нет запросы, пока не очень понятно что делать, но спасибо, это уже хоть что то, осталось понять как подгрузить страницу сразу со всеми постами
-
@kimoo а у тебя небыло проблемы 1, про то что бас подгружает только определенный разместить страницы, причем я ручками в настройках давал ему больше памяти, но от этого больше постов пврсить он не стал
-
@alexqwerty said in Вопрос про подгрузку xpath:
а по дефолту подгружается 40
Так и сделайте запрос на загрузку следующих 40 штук и т.д. Как будто вы переходите на вторую страницу...
@alexqwerty said in Вопрос про подгрузку xpath:
визуал парсер
Это что ещё за демон? Обычный браузер может показывать все нужные запросы...
-
@uraabk проблема в том что страница всего 1 и у меня лично нет идей как сделать подгрузку следующих 40 строк. Рад буду услышать ваши предложения.
-
@alexqwerty ну и что, что одна. Откройте в браузере новости вк, нажмите F12 (Network) и крутите вниз. У вас будут появляться подгрузки всяких картинок и появится запрос на подгрузку "следующей" страницы новостей.
-
@uraabk вот для этого мне и нужен парсер, собирать инфу по страницы новости в ВК. Хорошо, спасибо а не подскажете, где посмотреть запросы появляющиеся при подгрузке?
-
@alexqwerty писал уже - в браузере как минимум. Или использовать какие нибудь программы.
-
@uraabk обязательно попробую. А можете подсказать по вопросу 1, что делать если бас подгружает только 1100 постов на странице?
-
@alexqwerty по этому вопросу ничего сказать не смогу. Причины могут быть разные, для разных случаев надо смотреть отдельно.
-
@alexqwerty я в http запросах не бум-бум если-бы знал то ответил. Могу сказать что скорее всего данные подгружаются Ajax'ом но ничего более =)
