Прокрутка в Инстаграм

Поддержка
  • Нужно получить список фоловеров аккаунта. Проект настроил, но удается получить 5000-9000. На каком-то моменте после прокрутки новый списко перестает подгружаться. Подписчиков может быть десятки или сотни тысяч. Это вообще реально? Или может можно получить списко без прокрутки?

    1. Получаю колличество подписчиков
    2. Делаю прокрутку в цикле, каждый раз получая фактическое колличество подписчиков и сравниваю с общим. Если меньше, то скролим дальше.

    Прокрутка идет к последнему элементу в списке по xpath

    XPATH> //div[@class="PZuss"]/li[last()]
    В начале паузы между прокрутками делаю 1500мс, далее, после 1000 подписчиков увеличиваю до 3000 мс.
    Но все равно на каком-то этапе не грузим инстаграм след порцию.

    Наведите на путь истинный ) Или скажите, что это бредовая затея )

  • Если тебе не важна графическая составляющая, то запрети загрузку картинок и медиа, при большом количестве элементов это сыграет большую роль. Полагаю, компьютеру не хватает мощности.

  • @olegtut Нагрузки практически никакой нет, мощьности хватает. Core i7, ОЗУ 8Гб
    Запретил загрузку картинок. Потестирую

  • Видимо это глупая идея с прокруткой. Все равно даже 50000 подписчиков как по мне не получить прокруткой списка.
    Скажите а как пожно получить запрос XHR который отправляется при загрузке данных?
    Т.е при клике на подписчиков в инстаграме открывается попап, данные в него грузятся GET запросом. Как его поймать в процессе сбора?

  • @виталий был ли найден ответ на этот вопрос? актуально!, кто знает как сделать отпишите пожалуйста, могу за вознаграждение.

  • @виталий @boltzzzz XHR получить больших сложностей нет, но не проще ли использовать готовую библиотеку но node.js? Да и готового софта куча, лучше точно не сделаете.

  • @usertrue
    XHR как я понял это Пост Гет запросы, существуют ли примеры как обращаться к странице что бы получить результат и как его обработать? покажите это куда смотреть? где об этом получить информацию? Дайте хоть какую то зацепку (не таблетку!) для новичка )

    Готовые библиотеки node.js где и как применить, укажите направление

    за ранее благодарю.

  • @boltzzzz
    XHR
    Вот модуль на ноду
    Но и там и там надо знать js иначе будет тяжело мягко говоря.