Bablosoft

**Парсинг rss ленты**

Поддержка

  • S

    Твиттер. Парсинг ленты.

    Поддержка
    0 Votes
    5 Posts
    719 Views
    bigoratB

    @searx стукни в телеграм - @bigorat посмотрим

  • B

    Парсинг непрогруженного контента

    Поддержка
    0 Votes
    2 Posts
    598 Views
    FoxF

    @bas_user said in Парсинг непрогруженного контента:

    Всем привет!
    Кто сталкивался с парсингом страницы, где контент прогружается после скрола?
    Пример такой страницы лента ВК
    Подскажите кто знает, как спарить ссылки на непрогруженной странице, например участников группы в ВК, где полный список выдает только после скрола
    Подозреваю что это надо делать через xpath (могу быть не прав), но не понимаю как именно это реализовать

    Данные на страницу подгружаются после скрола, например через ajax (изначально на странице их просто нет). Чтобы парсить в браузере, совершайте скролл, если парсите через запросы, смотрите запросы при подгрузке данных после скрола.

  • B

    Прошу подкинуть идею как реализовать парсер ленты новостей vk

    Поддержка
    0 Votes
    15 Posts
    2561 Views
    uraabkU

    @bladder said in Прошу подкинуть идею как реализовать парсер ленты новостей vk:

    берет каждый _post_content и из него вытаскивает:
    wall_post_text - текст поста
    post_header_info - отсюда название группы или автора поста
    .page_post_thumb_last_row- тут спомощью ксс и регулярного выражение достается ссылка.

    С однократным вытаскиванием все работает четко, а вот когда делаешь это в цикле, то картинки и текст он берет из разных постов, а не из одного как должно быть.

    Так этого не достаточно, раз он при .page_post_thumb_last_row лезет в комментарии. Надо уточнять данный селектор, что бы он "исключал" комменты

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1250 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • V

    Парсинг значения времени на сайте.

    Поддержка
    0 Votes
    4 Posts
    1283 Views
    A

    @virkator, там можно кликнуть и выбрать "создать значение в конструкторе". В нем, я думаю, разобраться не сложно будет.