@UserTrue он из браузера их не всегда берет. А потом если сервер ответ по set-cookies шлет он их ставит сам убирать их.
аа не знал что он не записывает, я через прокси сервер все делаю он точнее показывает что там шлет. Но все равно то что он не умеет br сильно подмораживает на ноду got перешел
Как спарсить на гет запросе пользователей Twitter
-
Как спарсить на гет запросе пользователей, если страниц с профилями нет. Профили пользователей есть на странице, но они размещены не на страницах, а динамическим списком https://twitter.com/nbc/followers
-
;-(
У меня нету свитера ;-). Не занимаюсь но могу предположить что раз список динамический. То скорее всего сидят они в кокОм то классе а там идут по id но возможно там класс и id . Но это так имха. Попробуйте найти в каким классе они сидят весь класс в список и дальше разбирать.
-
@horsehorse Что бы было понятнее оп ч0м я.
GET получает тоже самое только без картинков) ну и без всяких плюшек но разметка будет такой же.
Подбирайте xpath для класса и потом дерибан самих полученного списка. -
@horsehorse возможно они подгружаются выполнением js на странице
-
более развернутые ответы можно?
-
@horsehorse так вроде уже проще некуда, получите нужную страницу твитера GET-запросом, и разбирайте код полученный, если в нем лежат данные открыто значит их можно выпарсить, если нет, то возможно такое что браузер рендерит страницу и выполняет JS скрипты после чего только доступна информация, то есть получить данные без запуска браузера скорее всего будет невозможно...
-
@horsehorse А что более развернуто? У меня нет свитера посмотреть я не могу. Заводить лень. Для начала надо найти блок где эти фоловеры и парсить их там как я указал. Если дело происходит как указал @BabloUser то можно проэмулировать POST или GET запросом выполнение этого скрипта. В принципе у мну так прокатывало. Надо отснифать что происходит на странице и разобрать. Я не могу вам помочь потому что не знаю что там и как.
ушел вязать свитер
