Здравствуйте, делаю парсер и обнаружил несколько проблем; когда бас работает не на запросах, то парсит по 1 элементу, как и задумано, но упирается в 1100 элемент и более не подгружает браузер. Когда пытаюсь сделать на запросах появляется проблема подгрузку страницы. Дело в том, что надо спасрить 1000 ссылок, а по дефолту подгружается 40, когда делаю черед визуал парсер, то есть блок прокрутка и тогда получается подгружать ещё инфы, а как то же самое реализовать в случае с запросами, тк все делается на 1 странице которая постоянно дополняется при подгрузке, а так же есть проблема с циклами, непонятно, как сделать чтобы бралась a[и тут переменная из цикла] ТК бас не работает если полуается такая конструкция [[[переменная]]]. Заранее, спасибо)
@alexqwerty ну насчет последнего [[[переменная]]] то нужно поставить пробелы примерно вот так [ [[переменная]] ] :)
@kimoo так, спасибо, это уже что то. Просто запилил парсер в визуально, а 1 к он парсит час, вот и хочу понять как ускорить. Уже просмотрел немного инфы про пост и нет запросы, пока не очень понятно что делать, но спасибо, это уже хоть что то, осталось понять как подгрузить страницу сразу со всеми постами
@kimoo а у тебя небыло проблемы 1, про то что бас подгружает только определенный разместить страницы, причем я ручками в настройках давал ему больше памяти, но от этого больше постов пврсить он не стал
@alexqwerty said in Вопрос про подгрузку xpath:
а по дефолту подгружается 40
Так и сделайте запрос на загрузку следующих 40 штук и т.д. Как будто вы переходите на вторую страницу...
@alexqwerty said in Вопрос про подгрузку xpath:
визуал парсер
Это что ещё за демон? Обычный браузер может показывать все нужные запросы...
@uraabk проблема в том что страница всего 1 и у меня лично нет идей как сделать подгрузку следующих 40 строк. Рад буду услышать ваши предложения.
@alexqwerty ну и что, что одна. Откройте в браузере новости вк, нажмите F12 (Network) и крутите вниз. У вас будут появляться подгрузки всяких картинок и появится запрос на подгрузку "следующей" страницы новостей.
@uraabk вот для этого мне и нужен парсер, собирать инфу по страницы новости в ВК. Хорошо, спасибо а не подскажете, где посмотреть запросы появляющиеся при подгрузке?
@alexqwerty писал уже - в браузере как минимум. Или использовать какие нибудь программы.
@uraabk обязательно попробую. А можете подсказать по вопросу 1, что делать если бас подгружает только 1100 постов на странице?
@alexqwerty по этому вопросу ничего сказать не смогу. Причины могут быть разные, для разных случаев надо смотреть отдельно.
@alexqwerty я в http запросах не бум-бум если-бы знал то ответил. Могу сказать что скорее всего данные подгружаются Ajax'ом но ничего более =)
