@univej Это называется кэш браузера, раздел сеть разрешить кэш, по запросу получить все по маске (Получить все элементы кэша) если сделать маску такой * он все в одну переменную и положит как вам хочется. Но это действие сильно подгружает. там есть действие лучше, можно маску указать целевую и можно проверять был ли запрос, эти экшены менее требовательны к памяти.
upd что бы получить например ваш запрос то маску можно наверное такое https://www.google.com/pages/drt*
Получите все что попадет под маску в переменную, там все будет от ответа сервера в кодировке base64 до заголовков
Не работают прокси на http сайтах
-
-
@hvarts said in Не работают прокси на http сайтах:
@fox я не использую модуль люминати. К прокси подключаюсь через действие "Прокси".
тогда приложите прокси, посмотрю
-
@hvarts said in Не работают прокси на http сайтах:
@fox я не использую модуль люминати. К прокси подключаюсь через действие "Прокси".
Люминати и бас не дружат. Действие прокси у баса также не может определить внешний IP у люминати, из-за этого многие важные параметры не работают.
-
@hvarts said in Не работают прокси на http сайтах:
Здравствуйте! Прокси сервис "luminati", тариф с дата центром.
Проблема заключается в том, что прокси не работают через туннелирование процесса на сайтах использующих http протоколы, при попытке загрузить такой сайт, в логах вижу ошибку "Не удалось загрузить страницу http://domain.ru/". Если отключить эту функцию, то сайты на http протоколах начинают загружаться с этих проксей, но к сожалению с частыми обрывами с ошибкой "Proxy error". Данные прокси отлично работают на https протоколах загружаемых сайтов с использованием туннелирование процесса.
С тех.поддержкой люминати связывался, с их стороны все ОК. Менеджер подключался через тимвивер и проверял возможную проблему с их стороны.
Версия bas 22.2.2
Windows 10
Готов предоставить прокси в лс для тестов, спасибо!
Продублирую здесь ответ @support :
- Чтобы исправить, нужно именно пропускать трафик через lpm, а не брать от туда прокси.
- Проблема без lpm именно на их стороне. Если кратко метод CONNECT не работает для 80 порта. Вот детальное описание проблемы.
CONNECT method even on 80 port gives 403 error with header X-Luminati-Error: Bad Port.
Note that "CONNECT on port 80" is not the same as "port 80 open".
Originally proxies where made to route POST and GET requests. Proxy server copied all request headers and sent it to target host. Target host responded with body and responce headers, proxy routed it back to client. That is how http proxies works. And everything was fine until ssl stuff was invented.
After enabling encryption, proxy can't work in old way, it can't see headers and post body any more because they are all encrypted. To fix this CONNECT method was added to proxy, instead of sending GET or POST requests, proxies now sends CONNECT requests, this command tells proxyserver to "create tunnel" and send all data encryted as is. That type of proxies are called https.
Because of way, how BAS implements proxies(tunneling it is very complicated but bypasses lots of bot detections) it can't use old way, instead it uses new way(with CONNECT) even if we are talking about http non encrypted traffic. It still sends CONNECT method to proxy even if target port is 80. And Luminati supernode always gives X-Luminati-Error: Bad Port.Про проблему они знают, я им неоднократно сообщал о ней. Сказали что пофиксят больше года назад, но так и не исправили.
-
@hvarts said in Не работают прокси на http сайтах:
luminati
luminati прокси из дата-центров сами по себе достаточно дерьмовы, так как у них очень мало провайдеров, и если через них что то делать они быстро банятся. Поэтому если ты не пользуешься промоаками, то лучше на них забить)
-
@Fox said in Не работают прокси на http сайтах:
Продублирую здесь ответ @support :
- Чтобы исправить, нужно именно пропускать трафик через lpm, а не брать от туда прокси.
- Проблема без lpm именно на их стороне. Если кратко метод CONNECT не работает для 80 порта. Вот детальное описание проблемы.
Про проблему они знают, я им неоднократно сообщал о ней. Сказали что пофиксят больше года назад, но так и не исправили.
@fox, позарез нужна помощь, все равно не работает.
Я запустил lpm, на 127.0.0.1:24000 создал порт, через http://127.0.0.1:22999/proxy_tester пингуется, через Firefox заходит, но через BAS нет - на скрине ниже видно.Кто знает, что я сделал не так?
-
-
@gudolik said in Не работают прокси на http сайтах:
There is issue on http proxy, i did send all details and how to be fixed to @Fox in skype, and also waiting for fix :)
Something I do not see you among my contacts on Skype. Are you sure you wrote to me?
-
@Fox Есть идеи что можно сделать? Luminati дохрена стоит, а с этой ошибкой ни куда не сдвинуться.
-
@agility said in Не работают прокси на http сайтах:
@Fox Есть идеи что можно сделать? Luminati дохрена стоит, а с этой ошибкой ни куда не сдвинуться.
Я не использую Luminati, ваш вопрос передал @support
-
@Fox said in Не работают прокси на http сайтах:
@agility said in Не работают прокси на http сайтах:
@Fox Есть идеи что можно сделать? Luminati дохрена стоит, а с этой ошибкой ни куда не сдвинуться.
Я не использую Luminati, ваш вопрос передал @support
отпишу здесь ответ @support
https://community.bablosoft.com/topic/9213/выпущена-22-3-0-версия-browserautomationstudio/24@support said in Выпущена 22.3.0 версия BrowserAutomationStudio:
@agility lpm отдает socks5
