Код страницы и его быстродействие

[jprk1]

Привет, появилась потребность парсить сайт temu.com (китайский маркет-плейс), и т.к. наши братья китайцы прикрутили на сайт нормальную защиту для таких случаев, единственным способом остался веб браузер. Отключил все картинки и прочие ненужные всплывающие окна, суть в чем, страницу проматываю и нажимаю кнопку "показать больше товаров", подгружается HTML, который я сохраняю для своих нужд. Естественно, с каждой подгрузкой, его вес увеличивается, уже дошло до выполнения "Код страницы" около 5-8 минут, а это много. Может есть JS команды, которые внутри браузера более быстро вытянут мне HTML код страницы?

[gurkin4]

Юзайте через сниффер.

[jprk1]

@gurkin4 это была самая первая реализация, на кнопке "показать больше товаров" при подгрузке создается secret_token из 120 символов, который собственно используется только 1 раз, и более не работает, сам запрос легко отслеживается, но вот повторное использование его практически невозможно, т.к. этот токен генерится из переменных, зашитых где-то на серверной части как я понял

[A Former User]

@jprk1 вы можете попробовать удалять уже собранные части html
Выполнить код на элементе self.remove()

[jprk1]

@UserTrue спасибо, попробую

[sergerdn]

@jprk1 said in Код страницы и его быстродействие:

... единственным способом остался веб браузер.

А чем еще пробовал, кроме браузера? Или там куча Javascript кода, который исполняется только в браузере и ничего, кроме браузера смысла не имеет?

[FastSpace]

@jprk1 код страницы не нужен, можешь парсинг вызвать прям в консоли браузера. Есть метод document_evaluate (написал по памяти как то так). Я большие страницы в несколько секунд парсил.

[sergerdn]

@FastSpace said in Код страницы и его быстродействие:

@jprk1 код страницы не нужен

Вероятно, ему так удобнее для дебага:

1. Скачал страницу, сохранил
2. Запустил скрипт, распарсил данные

Я тоже так когда-то делал.

[jprk1]

@sergerdn верно, распарс через сервер на питоне)

[jprk1]

@sergerdn да, показать больше товаров как раз через js обрабатывается, обычные запросы видят только 1ую страницу, последующие через запрос можно получить через ключ, о котором писал в топике, который шифрованный.