Bablosoft

Парсинг Instagram (1 попытка)

Поддержка
  • mmaxsmileM

    @Fox Это не плохая идея, однако, BAS прокручивает все сам (по максимуму), можно как то это отключить?

    FoxF 1 Reply
    0
  • FoxF

    @mmaxsmile said in Парсинг Instagram (1 попытка):

    @Fox Это не плохая идея, однако, BAS прокручивает все сам (по максимуму), можно как то это отключить?

    Создайте свой алгоритм прокрутки, а для начала хотя бы проверьте эту теорию в ручную.

    mmaxsmileM 1 Reply
    0
  • mmaxsmileM

    @Fox 000.PNG
    Уходит в бесконечную загрузку (после 2411 логина), ждал минут 10, ничего не подгрузилось

    FoxF 1 Reply
    0
  • FoxF

    @mmaxsmile said in Парсинг Instagram (1 попытка):

    @Fox
    Уходит в бесконечную загрузку (после 2411 логина), ждал минут 10, ничего не подгрузилось

    Ну раз селекторов подгрузилось больше, значит увеличьте задержку между подгрузкой

    ? mmaxsmileM 2 Replies
    0
  • ?

    @Fox Да дело в том, что браузер есть браузер, и может какой--то запрос не получить ответ и все собьется.

    @mmaxsmile said in Парсинг Instagram (1 попытка):

    увы знаний сделать такое на запросах нет, не мог бы сделать пример? или это только платно под заказ?

    Делать примеры я не буду, себе дороже. Можете поискать исполнителя. Вообще для инсты куча готового софта который стоит копейки.

    AngelOfAncientA 1 Reply
    0
  • mmaxsmileM

    @Fox Прокрутку реализовать не вышло. Как я и писал выше список грузится сам (ибо версия мобильная) и при заходе на окно followers с каждой секундой количество элементов растет. Я просто ждал пока оно прогрузит максимальное количество и запускал цикл. Когда оно прогружается до упора оно уходит в бесконечную загрузку. Я думал просто подождать N секунд/минут что бы Instagram смог выдать мне пользователей дальше, через время прокрутив к последнему элементу, но идея увенчалась крахом.

    AngelOfAncientA Z 2 Replies
    0
  • AngelOfAncientA

    @mmaxsmile Эта идея обречена на провал хотя бы тем, что у некоторых акков по 1 млн.+ подписчиков. И ни один браузер не выдержит такой инфы на одной страницы и крашится. Формально здесь могло бы помочь Insta API, однако после обновления там можно выдернуть только подписчиков собственного аккаунта.

    alt text

    Формально, всего 2 ссылки:

    1. Тут просто авторизуемся с акка и регистрируем клиента.
    2. А потом получаем сам access-token здесь.

    После регистрации мы попадаем в Sand box (песочница).
    И дают нам доступ только к "Review Status", а чтобы получить доступ полный, мы должны запросить его и обосновать что, как, для чего и продемонстрировать.

    Подробнее процесс описан здесь.

    Есть так же NodeJS Instagram private API client, который можно прикрутить к BAS'у, но я ним ещё не разбирался.

    FoxF 1 Reply
    0
  • AngelOfAncientA

    @UserTrue Готовый софт - это всё таки не спортивно, у нас задача на этом форуме научится делать какие-то вещи самим.

    alt text

    Что бы не бесить Большого Брата, я бы спросил не готовое решение, а совет) Какие-то курсы посмотреть или уроки, если знаешь такие. Касательно построения GET\POST запросов. Грубо говоря, BAS заснифферил все запросы и ответы. Что значит по-отдельности каждый заголовок, можно нагуглить. А вот как понять, что в этих заголовках писать, как запросы вяжутся друг с другом и как смоделировать такие же корректные, но свои - это хотелось бы изучить.

    У гигантов вроде FB почти всегда полностью свои самописные вещи на бекенде, поэтому тут невозможно знать, если лично не быть знакомым с кодом. Курсов для хакеров "А сегодня мы будем до*бываться до Insta" в Даркнете тоже не встречал)

    По этому понятно, что с такими запросами методом проб и ошибок, долго и упорно, и они всегда очень хрупкие - любое обновление Инстаграмма может сломать всю конструкцию. Но если где-то как-то изучить сам принцип, то подбирать валидные сочетания для формирования запросов будет легче.

    Что можешь посоветовать по этому поводу?

    0
  • FoxF

    @AngelOfAncient said in Парсинг Instagram (1 попытка):

    @mmaxsmile Эта идея обречена на провал хотя бы тем, что у некоторых акков по 1 млн.+ подписчиков. И ни один браузер не выдержит такой инфы на одной страницы и крашится.

    На сколько я помню подписчики в инсте добавляются порционно (догружаются по мере скролла). Так в чём проблема уже спаршенные данные удалять со страницы освобождая этим память?

    AngelOfAncientA 1 Reply
    1
  • AngelOfAncientA

    @Fox Мысль свежая, если так можно. Будет полезно не только для Инсты.
    Мы удаляем со страницы\из памяти каким образом?
    Присваиваем элементу .innerHTML () = ""?

    FoxF 1 Reply
    0
  • FoxF

    @AngelOfAncient said in Парсинг Instagram (1 попытка):

    @Fox Мысль свежая, если так можно. Будет полезно не только для Инсты.
    Мы удаляем со страницы\из памяти каким образом?
    Присваиваем элементу .innerHTML () = ""?

    Не такая уж и свежая..
    https://community.bablosoft.com/topic/2794/выполнить-javascript-на-элементе-удалить-элемент

    Действие "Выполнить Javascript На Элементе" self.remove();

    0
  • Z

    @mmaxsmile здравствуйте, если актуально, я делал такую операцию, просто кликал мышкой по ползунку и все получалось, даже имена аккаунтов выгрузил и в файл затолкал, все насколько было просто что я не поверил когда прочитал. Наверное тема устарела и у всех всё получилось. Делал в браузере без мобильной версии

    0