Выпущена 24.0.2 версия BrowserAutomationStudio

[titus]

@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает" хотя cpu и нагрузка на диск была далеко не 100% , паралельно при старте включается taskman delux и логировал нагрузку. теперь понятнее . кстати выгрузка профилей в озушку - это не великий костыль , я рам диском постоянно пользуюсь , это "лаг системы" видел и на рам диске . Но пока хз как именно отловить ибо в таксмане нагрузка cpu и диск не превышались .

[FastSpace]

@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает"

Именно, а если работаешь на nvme, использует файл подкачки и стартуешь число потоков в 45-50, то никаких лагов нет.
Т.е обычный SSD у меня тянет 30, nvme - 60. Это уже потолок, по винде шарится уже нельзя, но шаблон работает как положено.

Там еще такая штука у диска есть, как работа с мелкими файлами, она не создает визуальной нагрузки в диспетчере задач. Возможно пингует из-за этого, в общем точную причину пока не определил, я тут пока занет фиксами еще кучей овер багов вызванным переходом на новый движ, которые никто никогда не пофиксит, кроме меня.

[kotikov]

@Fox
Если есть возможность то спросить у @support влияют ли опции

--single-process
--no-sandbox
--disable-setuid-sandbox
--disable-dev-shm-usage
--no-zygote
--no-first-run

на анонимность, так как они очень сильно помогают для многопотока?

[A Former User]

У кого Windows Server, зайдите в журналы событий Windows - Безопасность. Там во время работы скрипта журнал стремительно заполняется событиями Учетной записи не удалось выполнить вход в систему и Перечислено участие пользователя в локальных группах. Интересно, с чем это связано? На предыдущей версии 23.2.2 такого не было.

UPD. Это есть и на Windows 10.

[Sadzurami]

сообщение для @Fox и @support

к слову об анонимности к посту выше от @kotikov
так же хотелось бы узнать, возможно ли по умолчанию отключить подгрузку иконок сайтов?

существует способ фингерпринтинга с помощью фавиконов, пример: https://github.com/jonasstrehle/supercookie , и это лишь один из немногих, сейчас становится всё популярнее

информация о фавиконах чаще всего хранится в файле favicons в папке профиля

могу ошибаться, но - CEF раньше не строго относится к фавиконам: если сама страница их не подгружала, то и браузер соответственно этого не делал
сейчас же, даже если сама страница не подгружает фавикон - браузер пытается его получить

пример страницы - https://example.com/
сама страница не содержит фавикона, но как видно из скрина - браузер пытается его получить

на ошибку connection_refused не стоит обращать внимание - запретил подгрузку самостоятельно

конечно, запрещать подгрузку фавиконов можно через "запретить запрос", но это не универсально и требует соответствующих действий каждый раз, и т.к. основной упор обновления - анонимность, было бы круто сделать подгрузку фавиконов опционально через настройки браузера

[Ajshma]

@Sadzurami said in Выпущена 24.0.2 версия BrowserAutomationStudio:

но это не универсально и требует соответствующих действий каждый раз, и т.к

В смысле не универсально? ))) Один раз в проекте сделал и забыл.

[Antonio]

@FastSpace, скачай Process Explorer и в нём посмотри всякие значения. Похоже на какую-то утечку, типа GDI объектов или ещё чего-нибудь.

[titus]

@kotikov по cpu ничего не заметил , при --single-process процесс записи впринципе не включается даже ) остальное в теории может помочь по оптимизации но не заметил особой разницы .

[kotikov]

@titus

Вы пробовали в режиме запуска в многопотоке? Данный прием я лично использую давно с puppeteer, поэтому могу сказать точно что это работает, но сейчас речь идет именно влияет ли это на анонимность.

[alex88]

@Sadzurami а смысл ? если они по папкам профиля ? а папки у профилей разные . вот отключение может имхо даже повредить.

[Sadzurami]

@alex88 всё зависит от целей

если анонимность не нужна, а наоборот необходимо нагуливание информации об устройстве - пожалуйста, пусть собирают фингерпринты фавиконов

но если задача на одном профиле просто менять отпечатки - через подобный фингерпринтинг можно идентифицировать пользователя

поэтому и говорю, что желательно не полностью отключать, а лишь сделать настройкой браузера, т.к. это можно отнести к фактору анонимизации

[A Former User]

This post is deleted!

[A Former User]

This post is deleted!

[kotikov]

@Bigma

в режиме записи нужно отключить опцию --single-process для старта

[A Former User]

This post is deleted!

[A Former User]

This post is deleted!

[FastSpace]

@Antonio said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace, скачай Process Explorer и в нём посмотри всякие значения. Похоже на какую-то утечку, типа GDI объектов или ещё чего-нибудь.

С GDI объектами все в порядке. 1 процесс хрома создает их в пределах 100.

spoiler

[FastSpace]

А вот Virtual Size у процесса svhost слишком не нормальное.

spoiler

Там выше кто-то писал типо процесс svhost долбит запросами часто.

[Sadzurami]

@FastSpace said in Выпущена 24.0.2 версия BrowserAutomationStudio:

А вот Virtual Size у процесса svhost слишком не нормальное.

spoiler

Там выше кто-то писал типо процесс svhost долбит запросами часто.

про svhost писал я https://community.bablosoft.com/post/98637

можете показать вкладку оперативной памяти из диспетчера задач после 30-50минут работы скрипта?
конкретно интересуют пункты под графиком, кэшировано, выгружаемый пул и тд.

[FastSpace]

@Sadzurami said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace said in Выпущена 24.0.2 версия BrowserAutomationStudio:

А вот Virtual Size у процесса svhost слишком не нормальное.

spoiler

Там выше кто-то писал типо процесс svhost долбит запросами часто.

про svhost писал я https://community.bablosoft.com/post/98637

можете показать вкладку оперативной памяти из диспетчера задач после 30-50минут работы скрипта?
конкретно интересуют пункты под графиком, кэшировано, выгружаемый пул и тд.

spoiler

Это мой самый слабый сервак, тут 20 браузеров кое -как лезет. Хотя мощности почти простаивают.