@UserTrue Спасибо ваш метод помог!)
Проблема с парсером где ожидается подгрузка страницы
-
@alexqwerty а что после 1300-1500 происходит? Перестают подгружаться ссылки? - скорее всего сайт блокирует работу, думая, что вы робот.
-
@uraabk парсер пишет что не получается получить колличество элементов и соответственно и нужный элемент. Думаю что сервису нет надобности бороться с парсером тк он просто листает ленту. Примечательно что если сделать просто цикл прокрутки ленты то он листает все 100к раз, а если попросить его начать пврсить с 1 элемента то на 1600 каком то он замирает
-
@alexqwerty так может сначала пролистать 100к раз, а потом xpath получить сразу все ссылки?
-
@uraabk пробовал, 20 часов подгружал, но в итоге парсер там же завис. Можешь скинуть какую нибудь ссылку на то что ты имеешь ввиду
-
@alexqwerty 20 часов? Да вы ненормальный человек)) А post/get запросами не пробовали? Может быть просто не хватает памяти и из-за этого зависает?
-
@uraabk парсер листает ленту вк как человек и потом получает ссылку на пост, на все уходит 1 секунда на 100к ушел день. Насчёт нехватки памяти я подумал и сегодня планирую это проверить, очень вероятно что проблема в этом. Что вы подрузаметаете под гет запросами?
-
@alexqwerty место листания ленты в браузере и тратя кучу времени на это (не говоря уже о ресурсах) посылать/получать запросы. Это в разы сократит время и не будет использовать кучу ресурсов, но скорее всего от частых запросов вк начнет выводить капчу...
-
@uraabk не могли бы вы дать направление где найти информацию об этом?
-
@alexqwerty вот тут видео есть https://youtu.be/fC97DG2MHQM?t=4542 в описании таймкоды.
