@UserTrue он из браузера их не всегда берет. А потом если сервер ответ по set-cookies шлет он их ставит сам убирать их.
аа не знал что он не записывает, я через прокси сервер все делаю он точнее показывает что там шлет. Но все равно то что он не умеет br сильно подмораживает на ноду got перешел
Как спарсить текст со страницы разных сайтов?
-
Подскажите идею как собирать с разных сайтов текст со страницы?
Все сайты разные. Но открывается url и на открывшейся странице статья (длинный текст).Всё что объединяет эти сайты, это то что на открывающихся URL-лах помимо баннеров и ссылок - находится длинный текст, который мне и нужен.
Вот думаю, может как то по коду страницы, или ещё как-то этот длинный текст нужно сохранять. -
я бы сделал просто сначала Установить разрешение браузера, например 600х1200, типа как у планшета, или же электронной книги.
Затем тыкнул прмрено в точку, где всегда на каждом таком сайте будет текст, скорей всего это будет по середине страницы где-то ближе к низу, вычислил бы эту координату, затем просто Правой кнопкой "Получитьь текст", и скорее всего будет сохранена вся статья.
Затем переходим к следующему сайту.