Элементы появляются после прокрутки



  • Получил заказ,все сделал кроме одного:
    Есть сайт знакомст там есть лист людей,изначально 24 элемента,но после прокрутки в конец появляется элемент прогрузки и появляются еще 24 элемента,я сделал так перед циклом прокрутки установил переменную и поставил значение 24,потом в цикле прокрутка к элементу с числом переменной и проверяю существования элемента прогрузки,если есть то крутит дальше,если нет идет к другому действию,так вот после того как уже все пользователи есть скрипт все равно делает цикл(ну я понимаю что я неправильно сделал).Как мне прогрузить все эти элементы?



  • @ctac04 said in Элементы появляются после прокрутки:

    проверяю существования элемента прогрузки

    Видимо ошибка в этом.
    Перепишите скрипт на get запросах - там нету прокруток и удобнее))

    Или можно попробовать сначала сделать много прокруток (в самый конец), а потом начать работать с людьми.



  • @uraabk ,ошибка не в этом думаю,делал без проверки,но тогда скрипт прокручивался бесконечно и выдавалась ошибка не удалось найти элемнт так как его действительно нет



  • @ctac04 ,а как на get запросах получить сколько людей в таких-то параметрах?



  • @ctac04 зависит от сайта. Иногда можно в самом запросе указывать, сколько загружать "людей". Иногда xpath вытаскивать



  • @ctac04 said in Элементы появляются после прокрутки:

    @ctac04 ,а как на get запросах получить сколько людей в таких-то параметрах?

    Новый набор аккаунтов подгружается отдельным запросом.
    Снифаем запрос, повторяем его, проверяем ответ. Если новых нет, придет плохой ответ.
    Кстати, можете проверять, был ли запрос и в браузере.



  • @ctac04 said in Элементы появляются после прокрутки:

    после того как уже все пользователи есть скрипт все равно делает цикл(ну я понимаю что я неправильно сделал)

    Скорее всего выбран неправильный селектор элемента подгрузки новых элементов.

    Как мне прогрузить все эти элементы?

    Есть множество способов разной степени костыльности :D.
    Можете установить разрешение повыше, не 1024*768, а 1024*5000 например, так скрипт подгрузки новых аккаунтов сработает сразу. Можно делать цикл проверки количества элементов: записываем количество элементов, прокручиваем страницу вниз, ждём 5 секунд, проверяем изменилось ли количество элементов.

    Можно перевести всё на запросы или найти функцию подгрузки новых элементов и переназначить, да вызывать её самому, как угодно в общем можно решить эту задачу.



  • Самый простой способ (судя по описанию проблемы) просто через ввод текста (<DOWN> по xpatch селектору html. количество <DOWN> подобрать методом тыка на 1-2 прогрузки ajax) и где то в конце выискивать тот элемент на котором висит триггер ajax загрузки. Если есть идем опять к кубику ввода текста если нет идем по своим делам дальше.



  • Данная проблема была решена с помощью http-клиента.



  • Листай вниз и дергай регулярным выражением из кода страницы. Я знаю про какой сайт знакомств идет речь.


  • Banned

    @fastspace said in Элементы появляются после прокрутки:

    Я знаю про какой сайт знакомств идет речь.

    🤣



  • Такая же проблема, подскажите как справиться) разрешение не помогает))



  • @taukin said in Элементы появляются после прокрутки:

    Такая же проблема, подскажите как справиться) разрешение не помогает))

    http клинтом пробовали?



  • @uraabk
    нет, подскажите что именно нужно с ним сделать))



  • @taukin для начала изучить. К примеру посмотреть видео - https://youtu.be/fC97DG2MHQM?t=4541



  • @uraabk Спасибо брат! минуту не подскажешь?)



  • @taukin с минутой и кунул. + в описании под видео есть "оглавление".



  • @uraabk спасибо, но не увидел решения моей проблемы. На сайте стоит ajax. Как с ним бороться - не знаю.
    Изложу суть более подробно: сайт отображает около 30 пользователей, крутим вниз - старые пропадают, новые появляются. Каких-то ссылок с доп нумерацией нету. Через XPATH решить проблему не получилось, селектор выбрал правильно. Конечно возможно это не получилось только у меня. Возможно нужно задать логику, которую я сообразить не смог. Колхозно вопрос тыками стрелочек и выставлением координат решать не хочу. Т.к. полноценного спамера из этого не получится.



  • @taukin said in Элементы появляются после прокрутки:

    Колхозно вопрос тыками стрелочек и выставлением координат решать не хочу. Т.к. полноценного спамера из этого не получится.

    А чем плох способ с "тыками стрелочек"?
    0_1543868457573_417ebbeb-a0e2-496c-b7d3-b4be0106e0a1-изображение.png


    @taukin said in Элементы появляются после прокрутки:

    Через XPATH решить проблему не получилось, селектор выбрал правильно

    Через действие "прокрутка к элементу"? Скиньте файлом код страницы и текстом какой элемент нужен.


    Есть ещё действие "прокрутка":
    0_1543868777393_e7f9dd82-5766-4627-a4fb-a1ca7f45c22c-изображение.png
    тоже должно сработать.



  • @fox said in Элементы появляются после прокрутки:

    @taukin said in Элементы появляются после прокрутки:

    Колхозно вопрос тыками стрелочек и выставлением координат решать не хочу. Т.к. полноценного спамера из этого не получится.

    А чем плох способ с "тыками стрелочек"?
    0_1543868457573_417ebbeb-a0e2-496c-b7d3-b4be0106e0a1-изображение.png


    @taukin said in Элементы появляются после прокрутки:

    Через XPATH решить проблему не получилось, селектор выбрал правильно

    Через действие "прокрутка к элементу"? Скиньте файлом код страницы и текстом какой элемент нужен.


    Есть ещё действие "прокрутка":
    0_1543868777393_e7f9dd82-5766-4627-a4fb-a1ca7f45c22c-изображение.png
    тоже должно сработать.

    Тыками стрелочек с выставлением координат, это один способ) он будет работать при каком-то одном условие. А в остальных случаях всё пойдет не так как хотелось бы)))

    0_1543894128182_wqewq.txt
    div class="card-content gendermale " - этот элемент
    Прокрутка тут тоже не зайдет, если собирать сначала пользователей, а потом им писать, может случиться такая проблема, что он просто не увидет его, т.к профиль просто не войдет в эти 30 профилей)


Log in to reply