Выпущена 24.0.2 версия BrowserAutomationStudio

[FastSpace]

@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace , файл подкачки это врятли баг баса , а скорее всего хромиума . Вариант выставить лимит кеша почему "не вариант" ?

Выставил лимит, но это помогло только частитчно. Всю равно упираюсь как-то в диск, винда лагает.

[Sadzurami]

@titus обычный браузер тоже ругается на локальные прокси.
Ничего против флагов не имею, просто выше разработчик написал, если проблема появляется после апдейта (24.0.4) - сообщить тут с шагами для воспроизведения.

[titus]

@FastSpace а что именно жрёт так и не нашлось ? поясню . отмотал выше , на скринах у тебя ссд в потолок 100% убивается записью то было до включения лимита и отключения фп ? . Загрузить так ссд это надо постараться . Там чтоименно работает ? во сколько потоков ? профиля именно с этого диска ? чтение или запись так топит нагрузку т.к на скрине запись и там было до отключения фп и увеличения кеша . сейчас фп выключен ?
распиши подробнее может какое то точное действие грузит диск или ещё что . Я у себя второй день повторить немогу :D больше 10-15 % на ссд не вижу . 20 потоков с ограниченным кешем в 100 мб с рандомными профилями гуляют по рандомным сайтам . на ссд 10-15% . если брать nvme то больше 3-5 % не видел . поэтому и тотальное недопонимание )
тестилось на win 7 32gb \ ssd \ фп отключен
win 10 64 gb \ nvme \ фп включен в авто режиме .

spoiler

в обоих вариантах стабильно пашет без особой нагрузки . профиля 200 шт гоняются по кругу .

[FastSpace]

@titus В том и дело. Что больше не грузит диск на 100% после лимита, но когда запускаешь много потоков (больше 30), то браузеры начинают работать с пингом > 300, общее быстро действие системы значительно падает, винда начинает лагать и все диско виснет, даже диспетчер задач не открыть. Процессор, оперативная память не нагружены выше 50%, пробовал на домашнем пк на nvme (но он pcie-3.0), он тянет в 2 раза больше потоков и также упирается в пинг браузеров. При этом также в диспетчере не вижу нагрузки с лимитом.
Это если @support не пофиксит, тут придется как-то еще костылить, помню @UserTrue писал про как-то жесткий костыль выгрузки профилей в оперативу и контроль чтения и записи. Ну или либо покупка m2-SSD со скоростями для шины pcie-4.0.

[titus]

@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает" хотя cpu и нагрузка на диск была далеко не 100% , паралельно при старте включается taskman delux и логировал нагрузку. теперь понятнее . кстати выгрузка профилей в озушку - это не великий костыль , я рам диском постоянно пользуюсь , это "лаг системы" видел и на рам диске . Но пока хз как именно отловить ибо в таксмане нагрузка cpu и диск не превышались .

[FastSpace]

@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает"

Именно, а если работаешь на nvme, использует файл подкачки и стартуешь число потоков в 45-50, то никаких лагов нет.
Т.е обычный SSD у меня тянет 30, nvme - 60. Это уже потолок, по винде шарится уже нельзя, но шаблон работает как положено.

Там еще такая штука у диска есть, как работа с мелкими файлами, она не создает визуальной нагрузки в диспетчере задач. Возможно пингует из-за этого, в общем точную причину пока не определил, я тут пока занет фиксами еще кучей овер багов вызванным переходом на новый движ, которые никто никогда не пофиксит, кроме меня.

[kotikov]

@Fox
Если есть возможность то спросить у @support влияют ли опции

--single-process
--no-sandbox
--disable-setuid-sandbox
--disable-dev-shm-usage
--no-zygote
--no-first-run

на анонимность, так как они очень сильно помогают для многопотока?

[A Former User]

У кого Windows Server, зайдите в журналы событий Windows - Безопасность. Там во время работы скрипта журнал стремительно заполняется событиями Учетной записи не удалось выполнить вход в систему и Перечислено участие пользователя в локальных группах. Интересно, с чем это связано? На предыдущей версии 23.2.2 такого не было.

UPD. Это есть и на Windows 10.

[Sadzurami]

сообщение для @Fox и @support

к слову об анонимности к посту выше от @kotikov
так же хотелось бы узнать, возможно ли по умолчанию отключить подгрузку иконок сайтов?

существует способ фингерпринтинга с помощью фавиконов, пример: https://github.com/jonasstrehle/supercookie , и это лишь один из немногих, сейчас становится всё популярнее

информация о фавиконах чаще всего хранится в файле favicons в папке профиля

могу ошибаться, но - CEF раньше не строго относится к фавиконам: если сама страница их не подгружала, то и браузер соответственно этого не делал
сейчас же, даже если сама страница не подгружает фавикон - браузер пытается его получить

пример страницы - https://example.com/
сама страница не содержит фавикона, но как видно из скрина - браузер пытается его получить

на ошибку connection_refused не стоит обращать внимание - запретил подгрузку самостоятельно

конечно, запрещать подгрузку фавиконов можно через "запретить запрос", но это не универсально и требует соответствующих действий каждый раз, и т.к. основной упор обновления - анонимность, было бы круто сделать подгрузку фавиконов опционально через настройки браузера

[Ajshma]

@Sadzurami said in Выпущена 24.0.2 версия BrowserAutomationStudio:

но это не универсально и требует соответствующих действий каждый раз, и т.к

В смысле не универсально? ))) Один раз в проекте сделал и забыл.

[Antonio]

@FastSpace, скачай Process Explorer и в нём посмотри всякие значения. Похоже на какую-то утечку, типа GDI объектов или ещё чего-нибудь.

[titus]

@kotikov по cpu ничего не заметил , при --single-process процесс записи впринципе не включается даже ) остальное в теории может помочь по оптимизации но не заметил особой разницы .

[kotikov]

@titus

Вы пробовали в режиме запуска в многопотоке? Данный прием я лично использую давно с puppeteer, поэтому могу сказать точно что это работает, но сейчас речь идет именно влияет ли это на анонимность.

[alex88]

@Sadzurami а смысл ? если они по папкам профиля ? а папки у профилей разные . вот отключение может имхо даже повредить.

[Sadzurami]

@alex88 всё зависит от целей

если анонимность не нужна, а наоборот необходимо нагуливание информации об устройстве - пожалуйста, пусть собирают фингерпринты фавиконов

но если задача на одном профиле просто менять отпечатки - через подобный фингерпринтинг можно идентифицировать пользователя

поэтому и говорю, что желательно не полностью отключать, а лишь сделать настройкой браузера, т.к. это можно отнести к фактору анонимизации

[A Former User]

This post is deleted!

[A Former User]

This post is deleted!

[kotikov]

@Bigma

в режиме записи нужно отключить опцию --single-process для старта

[A Former User]

This post is deleted!

[A Former User]

This post is deleted!