Выпущена 25.6.0 версия BrowserAutomationStudio

[Fox]

@riki said in Выпущена 25.6.0 версия BrowserAutomationStudio:

Я почему-то странный глюк на новой версии заметил: если запустить БАС в 1-3 проекта и загрузиться сервер CPU и RAM под 90%, как я ранее делал, то теперь спустя полдня работы проекты БАСа сами начали завершаться, то есть из меню нижнего toolbar Windows иконки БАСа начали пропадать и уходить в правое нижнее скрытое меню, а если там нажать на проект БАСа, то просто полностью закрываться.
Ни у кого такой проблемы не появилось?

Можете записать видео демонстрирующее проблему?

[sayfeejunior]

@Uslugio узнали в итоге как правильно?

[sayfeejunior]

@Fox если делать действие "настройки браузера" с выбором версии движка (при этом все остальные настройки дефолтные) после действий "Создать или переключиться на постоянный профиль", то появляются проблемы с расширением экрана (Уменьшается размер).
Если же сначала делать настройки браузера , а потом переключиться на профиль , то проблем нет. ( но насколько я понимаю в таком случае настройки браузера с версией хрома сбрасываются). Можете подсказать как правильно?

[m4zuper]

@sayfeejunior Вы переключаетесь на уже созданный ранее профиль с отпечатком или создаете новый?
Правильно делать все настройки после действия "Создать или переключиться на постоянный профиль".

[sayfeejunior]

@m4zuper переключаюсь на уже созданный профиль да, плюс почему-то на новой версии начал ловить ошибки при переключении на профиль "Ошибка JSon STRING"

[riki]

@Fox кажется нашел причину: RAM начало съедать примерно на 30% больше с новой версией БАСа. Сервера у меня по 32 Гб. Судя по всему проекты начали сами закрываться, потому что RAM превышает.

[sayfeejunior]

@riki тоже не могу понять, по сравнению с предыдущей зависает частенько

[sayfeejunior]

This post is deleted!

[sergerdn]

@riki said in Выпущена 25.6.0 версия BrowserAutomationStudio:

@Fox кажется нашел причину: RAM начало съедать примерно на 30% больше с новой версией БАСа. Сервера у меня по 32 Гб. Судя по всему проекты начали сами закрываться, потому что RAM превышает.

Спасибо, что описал. Тоже наблюдал такое, но думал, что "показалось".

[support]

@FastSpace said in Выпущена 25.6.0 версия BrowserAutomationStudio:

Ваши соксы могут быть настроены неправильно (99% шопов продавцов прокси - мамкины бизнесмены, они про этот квик даже и не слышали), и будет утекать ваш реальный IP.

На основе чего вы это утверждаете? Можно посмотреть исследования которые проводили?

Я специально проверил используя https://github.com/Lozy/danted, Wireshark, 25.6.1. Заходил на google.com

И при включенном UDP и отключенном BAS передает все запросы только к прокси серверу.

При отключенном upd используется http/2

BAS имеет преимущество в том, что умеет туннелировать udp трафик, в том же проксифаере только в начале года добавили возможность его блокировать, а у нас все запросы браузера перенаправляются в прокси.

Конфиг проски:

internal: IP сервера  port = 2016
external: IP сервера

method: pam none
clientmethod: none
user.privileged: root
user.notprivileged: sockd
logoutput: /var/log/sockd.log

client pass {
        from: 0.0.0.0/0  to: 0.0.0.0/0
}
client block {
        from: 0.0.0.0/0 to: 0.0.0.0/0
}
pass {
        from: 0.0.0.0/0 to: 0.0.0.0/0
        protocol: tcp #udp можно включать и отключать
        method: pam
        log: connect disconnect
}
block {
        from: 0.0.0.0/0 to: 0.0.0.0/0
        log: connect error
}

[m4zuper]

@sergerdn @riki @sayfeejunior
Написал вам в лс, касательно вопроса повышения потребления ресурсов, несколько вопросов, не могли бы вы на них ответить, спасибо)

[FastSpace]

@support said in Выпущена 25.6.0 версия BrowserAutomationStudio:

И при включенном UDP и отключенном BAS передает все запросы только к прокси серверу.

Я знаю, что BAS умеет работать с UDP, причем UDP для WEB RTC тоже, это я нашёл инфу и скинул через вашего тестера вам. Никаких претензией к BAS нету, вы как разработчик просто красавчик что добавили такую поддержку. Конкуренты до сих пор так не могут, а некоторые даже не слышали об этом.

Другое дело, что сам прокси тоже должен на своей стороне UDP ASSOCIATE правильно поддерживать, например 3proxy умеет делать это из коробки, только беда в том, что если в схеме есть роутер или маршрут чуть более сложный чем 1 ветка, то UDP запросы могут идти неверно , в моём случае 3proxy UDP запрос направляет на 0.0.0.0 (LAN IP) вместо моего прокси поднятого на 192.168.4.1 и мне пришлось проделать некий танец с бубном, чтобы он так не делал (те малочисленные люди кто осилил UDP вам про это скажут). В таком случае утекает реальный IP сервера на котором могут быть подняты несколько прокси, а не вашего сервера инициирующего запрос (извиняюсь за неточность). Из чего я делаю вывод, что ваше решение включить всем QUIC по умолчанию оно не выглядит самым лучшим образом. Я как покупатель прокси просто в душе не чаю как и на каком софте были подняты прокси, которые я купил. Я мониторю рынок прокси уже давно и могу с уверенностью сказать, что этой технологии уже как почти год. Стандарт QUIC был принят в мае 2021, а сайты начали переходит на него летом 2022,
а на рынке до сих пор UDP редкое явление, да и те кто осилил это сделали через конфиги VPN xD

Я не хочу дальше с вами вступать в полемику, здесь речь уже идёт о внебраузерном фингерпринте, вы как разработчик не обязаны следить за тем, что пользователь покупал только правильные прокси, это уже задача самого пользователя. Если у меня руки дойдут, я напишу почему сейчас в BAS лучше отключать квик, если не уверен в продавце прокси. В оффтоп я уже опубликовал две мини статьи кстате.

[sergerdn]

@FastSpace said in Выпущена 25.6.0 версия BrowserAutomationStudio:

0.0.0.0

Хочет сообщить всему интернету. Осталось выяснить что и зачем.

[support]

@FastSpace said in Выпущена 25.6.0 версия BrowserAutomationStudio:

Другое дело, что сам прокси тоже должен на своей стороне UDP ASSOCIATE правильно поддерживать

Клиент отправляет команду UDP ASSOCIATE, прокси выделят для него порт, все что приходит на этот порт отправляется по url/ip указанному в начале udp части пакета. Все что приходит от сервера, отправляется обратно клиенту. Сам сервер хранит таблицу "порт/ip клиента - свой порт", чтобы знать куда отправлять пакеты от сервера.

Мне правда интересно, что утекает в такой реализации? Она вроде простая, нет? Или где-то внутри протокола quic передается ip?

Я даже запустил tcpdump на сервере где стоит прокси, скачал результаты, потом открыл в wireshark:

https://i.imgur.com/3ud93fT.png

Все штатно. Там прямо пакет, который из прокси отправлен был на сайт(тот же google). Покажите, что утекло?

Дальше сообщение вообще не понял. Какие-то 2 прокси в локальной сети? Утекает не ip клиента, а адрес сервера где установлено несколько прокси, так ведь адрес прокси и должен быть виден сайту? Или есть какая-то сложная внутрення сеть у провайдера прокси, в которой неправильно происходит маршрутизация.

Я не хочу дальше с вами вступать в полемику

Ок, если кто-то знает, где утекает ip, пишите на почту mail.to.twaego@gmail.com

[A Former User]

@support said in Выпущена 25.6.0 версия BrowserAutomationStudio:

Дальше сообщение вообще не понял. Какие-то 2 прокси в локальной сети? Утекает не ip клиента, а адрес сервера где установлено несколько прокси

Он имел ввиду очень распространенные мобильные прокси, когда к серверу подключена куча модемов и утекает ip сервера.

[FastSpace]

@UserTrue said in Выпущена 25.6.0 версия BrowserAutomationStudio:

@support said in Выпущена 25.6.0 версия BrowserAutomationStudio:

Дальше сообщение вообще не понял. Какие-то 2 прокси в локальной сети? Утекает не ip клиента, а адрес сервера где установлено несколько прокси

Он имел ввиду очень распространенные мобильные прокси, когда к серверу подключена куча модемов и утекает ip сервера.

Именно.
Это может быть и куча телефонов или куча роутеров.

2 костыля есть этому как решение. Либо прокинуть еще один сервак с еще одним ip внешкой, либо 3proxy ставить прямо внутрь устройства 1 к 1 в качестве external будет 127.0.0.1. В такой схеме не должно быть ещё роутера на внешке.

У Родиона и Вектора всё в этом плане ок.

[support]

@UserTrue

Он имел ввиду очень распространенные мобильные прокси, когда к серверу подключена куча модемов и утекает ip сервера.

Если сервер общается напрямую с сайтом, как прокси вообще работают?

Cейчас буду проверять, скупать прокси, ставить контейнер с поддержкой quic, смотреть пакеты, которые приходят на сервер, а потом окажется, что нужны только особые прокси, особый роутер про который забыли упомянуть и вообще на BAS не повторяется. Когда кто-то может написать что-то внятное, буду смотреть.

[riki]

@Fox а ты увеличения на данной версии БАСа в примерно 30% RAM не наблюдаешь? Есть идеи как можно вернуть прежнее потребление памяти? А то беда, придется еще сервера докупать, а они дорогие

[A Former User]

@support said in Выпущена 25.6.0 версия BrowserAutomationStudio:

Если сервер общается напрямую с сайтом, как прокси вообще работают?

Я просто написал что он имел ввиду, сам я не изучал эту проблему.

[riki]

@Fox вот баг на скринах. Запустил 2 проекта на БАСе, они упали, но при этом RAM все равно почему-то используется (на скрине 20,2 Гб), хотя проекты не работают. Это по логам проектов вижу, по процессам в диспетчере задач и по закрытым в toolbar windows БАС проектам (у меня Windows Server 2019). При этом первые часы где-то 70% CPU и столько же RAM забивается, потом RAM все растет и доходит до близка 100%, потом крэш.
Как и говорил ранее, ровно с версии 25.6.0 съедание RAM очень сильное появилось.