Не могу получить данные гет запросом.

[Fox]

@JDM said in Не могу получить данные гет запросом.:

Здравствуйте, как сделать, чтобы бас запросами парсил весь код страницы?
К примеру, https://www.svyaznoy.ru/catalog/phone/224/5722526
Код страницы, который дает гугл хром и то, что при гет запросе выдает бас, отличаются координально.
Есть какая-то функция (кроме загрузить через браузер и получить код страницы) для того, чтобы не мучаться с изучением и составлением запросов?

Get-запрос к странице не тоже самое, что и загрузка этой страницы. Код страницы формируется скриптами, данные подгружаются дополнительными запросами.
Снифайте запросы и смотрите где и в каком виде приходят необходимые данные

[A Former User]

В конце есть вставка

	makeUrl:function(url)
	{
		url += "fa821dba_ipp_key=" + this.decrypt() + "&" + "fa821dba_ipp_uid=1591566742510_arcHEHjBXDS3XYfq_A0Rl5OIod2fZNla9ohGLdA" + "&" + "fa821dba_ipp_uid1=1591566742510" + "&" + "fa821dba_ipp_uid2=arcHEHjBXDS3XYfq_A0Rl5OIod2fZNla9ohGLdA";
		return url;
        }

очевидно и это есть нужный адрес.

[A Former User]

This post is deleted!

[A Former User]

Там используется защита https://variti.com/ru-ru/innovations/
В ответе

Server: Variti/0.9.3a

А вот как ее обойти фиг его знает.

И интересно все же как при этом они ботов яндекса и гугла пропускают.

[A Former User]

У них в клиентах даже auto.ru :-)

[tet-vivi]

@Bigma у них, Variti, интересные комменты на хабре

[A Former User]

@tet-vivi ссылку дай.

[tet-vivi]

@Bigma https://variti.com внизу ссылки на хабр блог и телеграмм

[A Former User]

Говно защита какая-то. FF у меня вообще эту ссылку так и не открыл и к тому же начал проц грузить, а хром только без прокси заходит. Защита от клиентов блин )) А кому надо всеравно отреверсят.

[tet-vivi]

@Bigma said in Не могу получить данные гет запросом.:

Там используется защита https://variti.com/ru-ru/innovations/
И интересно все же как при этом они ботов яндекса и гугла пропускают.

у ботов поисковиков известные ip. достаточно трафик с этих ip внести в белый список.

[A Former User]

@tet-vivi said in Не могу получить данные гет запросом.:

@Bigma https://variti.com внизу ссылки на хабр блог и телеграмм

Да я много их постов на хабре просмотрел, к половине ноль комментов, а к тем что есть интересных не нашел, вот и спросил, что ты там интересного увидел.