Как спарсить на гет запросе пользователей Twitter



  • Как спарсить на гет запросе пользователей, если страниц с профилями нет. Профили пользователей есть на странице, но они размещены не на страницах, а динамическим списком https://twitter.com/nbc/followers


  • Banned

    ;-( alt text

    У меня нету свитера ;-). Не занимаюсь но могу предположить что раз список динамический. То скорее всего сидят они в кокОм то классе а там идут по id но возможно там класс и id . Но это так имха. Попробуйте найти в каким классе они сидят весь класс в список и дальше разбирать.


  • Banned

    @horsehorse Что бы было понятнее оп ч0м я.
    alt text
    GET получает тоже самое только без картинков) ну и без всяких плюшек но разметка будет такой же.
    Подбирайте xpath для класса и потом дерибан самих полученного списка.



  • @horsehorse возможно они подгружаются выполнением js на странице



  • более развернутые ответы можно?



  • @horsehorse так вроде уже проще некуда, получите нужную страницу твитера GET-запросом, и разбирайте код полученный, если в нем лежат данные открыто значит их можно выпарсить, если нет, то возможно такое что браузер рендерит страницу и выполняет JS скрипты после чего только доступна информация, то есть получить данные без запуска браузера скорее всего будет невозможно...


  • Banned

    @horsehorse А что более развернуто? У меня нет свитера посмотреть я не могу. Заводить лень. Для начала надо найти блок где эти фоловеры и парсить их там как я указал. Если дело происходит как указал @BabloUser то можно проэмулировать POST или GET запросом выполнение этого скрипта. В принципе у мну так прокатывало. Надо отснифать что происходит на странице и разобрать. Я не могу вам помочь потому что не знаю что там и как.

    ушел вязать свитер



  • @bigorat, @allive я о том же +


Log in to reply
 

  • 7
  • 6
  • 4
  • 8
  • 2
  • 8
  • 10
  • 3