Вопрос про подгрузку xpath



  • Здравствуйте, делаю парсер и обнаружил несколько проблем; когда бас работает не на запросах, то парсит по 1 элементу, как и задумано, но упирается в 1100 элемент и более не подгружает браузер. Когда пытаюсь сделать на запросах появляется проблема подгрузку страницы. Дело в том, что надо спасрить 1000 ссылок, а по дефолту подгружается 40, когда делаю черед визуал парсер, то есть блок прокрутка и тогда получается подгружать ещё инфы, а как то же самое реализовать в случае с запросами, тк все делается на 1 странице которая постоянно дополняется при подгрузке, а так же есть проблема с циклами, непонятно, как сделать чтобы бралась a[и тут переменная из цикла] ТК бас не работает если полуается такая конструкция [[[переменная]]]. Заранее, спасибо)



  • @alexqwerty ну насчет последнего [[[переменная]]] то нужно поставить пробелы примерно вот так [ [[переменная]] ] :)



  • @kimoo так, спасибо, это уже что то. Просто запилил парсер в визуально, а 1 к он парсит час, вот и хочу понять как ускорить. Уже просмотрел немного инфы про пост и нет запросы, пока не очень понятно что делать, но спасибо, это уже хоть что то, осталось понять как подгрузить страницу сразу со всеми постами



  • @kimoo а у тебя небыло проблемы 1, про то что бас подгружает только определенный разместить страницы, причем я ручками в настройках давал ему больше памяти, но от этого больше постов пврсить он не стал



  • @alexqwerty said in Вопрос про подгрузку xpath:

    а по дефолту подгружается 40

    Так и сделайте запрос на загрузку следующих 40 штук и т.д. Как будто вы переходите на вторую страницу...

    @alexqwerty said in Вопрос про подгрузку xpath:

    визуал парсер

    Это что ещё за демон? Обычный браузер может показывать все нужные запросы...



  • @uraabk проблема в том что страница всего 1 и у меня лично нет идей как сделать подгрузку следующих 40 строк. Рад буду услышать ваши предложения.



  • @alexqwerty ну и что, что одна. Откройте в браузере новости вк, нажмите F12 (Network) и крутите вниз. У вас будут появляться подгрузки всяких картинок и появится запрос на подгрузку "следующей" страницы новостей.



  • @uraabk вот для этого мне и нужен парсер, собирать инфу по страницы новости в ВК. Хорошо, спасибо а не подскажете, где посмотреть запросы появляющиеся при подгрузке?



  • @alexqwerty писал уже - в браузере как минимум. Или использовать какие нибудь программы.



  • @uraabk обязательно попробую. А можете подсказать по вопросу 1, что делать если бас подгружает только 1100 постов на странице?



  • @alexqwerty по этому вопросу ничего сказать не смогу. Причины могут быть разные, для разных случаев надо смотреть отдельно.



  • @uraabk хорошо, отпишу тебе в Лс)



  • @alexqwerty я в http запросах не бум-бум если-бы знал то ответил. Могу сказать что скорее всего данные подгружаются Ajax'ом но ничего более =)


Log in to reply
 

  • 11
  • 5
  • 9
  • 15
  • 2
  • 3
  • 10
  • 13