Парсинг Instagram (1 попытка)



  • Добрый день, сегодня попробовал парсить Instagram подписчиков через "начать цикл", зашел в профиль, сделал расширение 375х812 итоговый результат: 1739 логинов

    Как это работает?
    Как я понял окно грузится постепенно по этой причине я поставил максимальную задержку, что и помогло увеличить количество логинов, однако есть аккаунты с 2к+ подписчиками.

    В чем проблема?
    Instagram ограничивает возможность прогрузки, ибо после данной процедуры (цикла) при перезаходит в подписчиков не отображает совсем, даже вне BAS

    Epty.png

    Так же Instagram ставит пользователей последовательно (по подпискам), как дойти до тех кто выше тех 1739 человек хороший вопрос.

    Подкиньте идей если таковые есть, возможно как то сделать другим вариантом, буду рад любым замечанием, заранее спасибо.



  • @mmaxsmile said in Парсинг Instagram (1 попытка):

    Добрый день, сегодня попробовал парсить Instagram подписчиков через "начать цикл", зашел в профиль, сделал расширение 375х812 итоговый результат: 1739 логинов

    Как это работает?
    Как я понял окно грузится постепенно по этой причине я поставил максимальную задержку, что и помогло увеличить количество логинов, однако есть аккаунты с 2к+ подписчиками.

    В чем проблема?
    Instagram ограничивает возможность прогрузки, ибо после данной процедуры (цикла) при перезаходит в подписчиков не отображает совсем, даже вне BAS

    Так же Instagram ставит пользователей последовательно (по подпискам), как дойти до тех кто выше тех 1739 человек хороший вопрос.

    Подкиньте идей если таковые есть, возможно как то сделать другим вариантом, буду рад любым замечанием, заранее спасибо.

    Не уверен на счёт именно инсты, но это обычное явление в браузерных сайтах, когда подгружаются элементы по мере прокрутки. Так же для производительности прибегают к такой хитрости, что одновременно показывается определённое количество элементов, а те, элементы, которых пользователь прокрутил, удаляются.

    Попробуйте прокрутить до конца список. Так же есть вероятность, что у вновь подгруженных элементов может быть другой селектор.



  • @mmaxsmile Никто не парсит такое через браузер, парсят с помощью запросов.



  • @Fox увы через ПК версию это гиблое дело, по этой причине я открыл мобильную (сделал расширение 375х812), однако прогружает там как я и писал, все и с каждой секундой список становится больше (BAS), и элементы не исчезают, а доходя до лимита Instagram просто перестает отображать подписчиков на некоторое время.

    @UserTrue увы знаний сделать такое на запросах нет, не мог бы сделать пример? или это только платно под заказ?



  • @mmaxsmile said in Парсинг Instagram (1 попытка):

    @Fox увы через ПК версию это гиблое дело, по этой причине я открыл мобильную (сделал расширение 375х812), однако прогружает там как я и писал, все и с каждой секундой список становится больше (BAS), и элементы не исчезают, а доходя до лимита Instagram просто перестает отображать подписчиков на некоторое время.

    @UserTrue увы знаний сделать такое на запросах нет, не мог бы сделать пример? или это только платно под заказ?

    Попробуйте удалять элементы, возможно стоит ограничение не по загрузке, а по количеству отображаемых на странице



  • @Fox Дело не в количестве отображаемых элементов. Проверил это тем что что при N количестве заходов на Instagram профиль и нажатии на Подписчиков оно выдавало мне все меньше логинов, чем чаще туда заходил. А кончилось все пустотой на некоторое количество времени. Через минут 5-10 минут все приходит в норму, однако как прогрузить самых дальних подписчиков остается загадкой.



  • @mmaxsmile said in Парсинг Instagram (1 попытка):

    @Fox Дело не в количестве отображаемых элементов. Проверил это тем что что при N количестве заходов на Instagram профиль и нажатии на Подписчиков оно выдавало мне все меньше логинов, чем чаще туда заходил. А кончилось все пустотой на некоторое количество времени. Через минут 5-10 минут все приходит в норму, однако как прогрузить самых дальних подписчиков остается загадкой.

    В таком случае прокручивайте с задержкой



  • @Fox Это не плохая идея, однако, BAS прокручивает все сам (по максимуму), можно как то это отключить?



  • @mmaxsmile said in Парсинг Instagram (1 попытка):

    @Fox Это не плохая идея, однако, BAS прокручивает все сам (по максимуму), можно как то это отключить?

    Создайте свой алгоритм прокрутки, а для начала хотя бы проверьте эту теорию в ручную.



  • @Fox 000.PNG
    Уходит в бесконечную загрузку (после 2411 логина), ждал минут 10, ничего не подгрузилось



  • @mmaxsmile said in Парсинг Instagram (1 попытка):

    @Fox
    Уходит в бесконечную загрузку (после 2411 логина), ждал минут 10, ничего не подгрузилось

    Ну раз селекторов подгрузилось больше, значит увеличьте задержку между подгрузкой



  • @Fox Да дело в том, что браузер есть браузер, и может какой--то запрос не получить ответ и все собьется.

    @mmaxsmile said in Парсинг Instagram (1 попытка):

    увы знаний сделать такое на запросах нет, не мог бы сделать пример? или это только платно под заказ?

    Делать примеры я не буду, себе дороже. Можете поискать исполнителя. Вообще для инсты куча готового софта который стоит копейки.



  • @Fox Прокрутку реализовать не вышло. Как я и писал выше список грузится сам (ибо версия мобильная) и при заходе на окно followers с каждой секундой количество элементов растет. Я просто ждал пока оно прогрузит максимальное количество и запускал цикл. Когда оно прогружается до упора оно уходит в бесконечную загрузку. Я думал просто подождать N секунд/минут что бы Instagram смог выдать мне пользователей дальше, через время прокрутив к последнему элементу, но идея увенчалась крахом.


Log in to reply