Здравствуйте, как сделать, чтобы бас запросами парсил весь код страницы?
К примеру, https://www.svyaznoy.ru/catalog/phone/224/5722526
Код страницы, который дает гугл хром и то, что при гет запросе выдает бас, отличаются координально.
Есть какая-то функция (кроме загрузить через браузер и получить код страницы) для того, чтобы не мучаться с изучением и составлением запросов?
@JDM said in Не могу получить данные гет запросом.:
Здравствуйте, как сделать, чтобы бас запросами парсил весь код страницы?
К примеру, https://www.svyaznoy.ru/catalog/phone/224/5722526
Код страницы, который дает гугл хром и то, что при гет запросе выдает бас, отличаются координально.
Есть какая-то функция (кроме загрузить через браузер и получить код страницы) для того, чтобы не мучаться с изучением и составлением запросов?
Get-запрос к странице не тоже самое, что и загрузка этой страницы. Код страницы формируется скриптами, данные подгружаются дополнительными запросами.
Снифайте запросы и смотрите где и в каком виде приходят необходимые данные
В конце есть вставка
makeUrl:function(url)
{
url += "fa821dba_ipp_key=" + this.decrypt() + "&" + "fa821dba_ipp_uid=1591566742510_arcHEHjBXDS3XYfq_A0Rl5OIod2fZNla9ohGLdA" + "&" + "fa821dba_ipp_uid1=1591566742510" + "&" + "fa821dba_ipp_uid2=arcHEHjBXDS3XYfq_A0Rl5OIod2fZNla9ohGLdA";
return url;
}
очевидно и это есть нужный адрес.
Там используется защита https://variti.com/ru-ru/innovations/
В ответе
Server: Variti/0.9.3a
А вот как ее обойти фиг его знает.
И интересно все же как при этом они ботов яндекса и гугла пропускают.
У них в клиентах даже auto.ru :-)
Говно защита какая-то. FF у меня вообще эту ссылку так и не открыл и к тому же начал проц грузить, а хром только без прокси заходит. Защита от клиентов блин )) А кому надо всеравно отреверсят.
@Bigma said in Не могу получить данные гет запросом.:
Там используется защита https://variti.com/ru-ru/innovations/
И интересно все же как при этом они ботов яндекса и гугла пропускают.
у ботов поисковиков известные ip. достаточно трафик с этих ip внести в белый список.
@tet-vivi said in Не могу получить данные гет запросом.:
@Bigma https://variti.com внизу ссылки на хабр блог и телеграмм
Да я много их постов на хабре просмотрел, к половине ноль комментов, а к тем что есть интересных не нашел, вот и спросил, что ты там интересного увидел.
