Парсинг непрогруженного контента

[bas_user]

Всем привет!
Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
Пример такой страницы лента ВК
Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

[Fox]

@bas_user said in Парсинг непрогруженного контента:

Всем привет!
Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
Пример такой страницы лента ВК
Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.