@FastSpace , файл подкачки это врятли баг баса , а скорее всего хромиума . Вариант выставить лимит кеша почему "не вариант" ?
@Sadzurami а обычный браузер через этот же прокси нормально идёт ? если нет то ставь сертификат , если же уже установлен но хромиум баса не видит сертификаты то либо принудительно подсовывать либо просто использовать игнор ошибки сертифика и жить спокойно . В старом оно по умолчанию было т.к там была проблема скормить сертификат цефу .
@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:
@FastSpace , файл подкачки это врятли баг баса , а скорее всего хромиума . Вариант выставить лимит кеша почему "не вариант" ?
Выставил лимит, но это помогло только частитчно. Всю равно упираюсь как-то в диск, винда лагает.
@FastSpace а что именно жрёт так и не нашлось ? поясню . отмотал выше , на скринах у тебя ссд в потолок 100% убивается записью то было до включения лимита и отключения фп ? . Загрузить так ссд это надо постараться . Там чтоименно работает ? во сколько потоков ? профиля именно с этого диска ? чтение или запись так топит нагрузку т.к на скрине запись и там было до отключения фп и увеличения кеша . сейчас фп выключен ?
распиши подробнее может какое то точное действие грузит диск или ещё что . Я у себя второй день повторить немогу :D больше 10-15 % на ссд не вижу . 20 потоков с ограниченным кешем в 100 мб с рандомными профилями гуляют по рандомным сайтам . на ссд 10-15% . если брать nvme то больше 3-5 % не видел . поэтому и тотальное недопонимание )
тестилось на win 7 32gb \ ssd \ фп отключен
win 10 64 gb \ nvme \ фп включен в авто режиме .
в обоих вариантах стабильно пашет без особой нагрузки . профиля 200 шт гоняются по кругу .
@titus В том и дело. Что больше не грузит диск на 100% после лимита, но когда запускаешь много потоков (больше 30), то браузеры начинают работать с пингом > 300, общее быстро действие системы значительно падает, винда начинает лагать и все диско виснет, даже диспетчер задач не открыть. Процессор, оперативная память не нагружены выше 50%, пробовал на домашнем пк на nvme (но он pcie-3.0), он тянет в 2 раза больше потоков и также упирается в пинг браузеров. При этом также в диспетчере не вижу нагрузки с лимитом.
Это если @support не пофиксит, тут придется как-то еще костылить, помню @UserTrue писал про как-то жесткий костыль выгрузки профилей в оперативу и контроль чтения и записи. Ну или либо покупка m2-SSD со скоростями для шины pcie-4.0.
@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает" хотя cpu и нагрузка на диск была далеко не 100% , паралельно при старте включается taskman delux и логировал нагрузку. теперь понятнее . кстати выгрузка профилей в озушку - это не великий костыль , я рам диском постоянно пользуюсь , это "лаг системы" видел и на рам диске . Но пока хз как именно отловить ибо в таксмане нагрузка cpu и диск не превышались .
@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:
@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает"
Именно, а если работаешь на nvme, использует файл подкачки и стартуешь число потоков в 45-50, то никаких лагов нет.
Т.е обычный SSD у меня тянет 30, nvme - 60. Это уже потолок, по винде шарится уже нельзя, но шаблон работает как положено.
Там еще такая штука у диска есть, как работа с мелкими файлами, она не создает визуальной нагрузки в диспетчере задач. Возможно пингует из-за этого, в общем точную причину пока не определил, я тут пока занет фиксами еще кучей овер багов вызванным переходом на новый движ, которые никто никогда не пофиксит, кроме меня.
У кого Windows Server, зайдите в журналы событий Windows - Безопасность. Там во время работы скрипта журнал стремительно заполняется событиями Учетной записи не удалось выполнить вход в систему и Перечислено участие пользователя в локальных группах. Интересно, с чем это связано? На предыдущей версии 23.2.2 такого не было.
UPD. Это есть и на Windows 10.
к слову об анонимности к посту выше от @kotikov
так же хотелось бы узнать, возможно ли по умолчанию отключить подгрузку иконок сайтов?
существует способ фингерпринтинга с помощью фавиконов, пример: https://github.com/jonasstrehle/supercookie , и это лишь один из немногих, сейчас становится всё популярнее
информация о фавиконах чаще всего хранится в файле favicons в папке профиля
могу ошибаться, но - CEF раньше не строго относится к фавиконам: если сама страница их не подгружала, то и браузер соответственно этого не делал
сейчас же, даже если сама страница не подгружает фавикон - браузер пытается его получить
пример страницы - https://example.com/
сама страница не содержит фавикона, но как видно из скрина - браузер пытается его получить
на ошибку connection_refused не стоит обращать внимание - запретил подгрузку самостоятельно
конечно, запрещать подгрузку фавиконов можно через "запретить запрос", но это не универсально и требует соответствующих действий каждый раз, и т.к. основной упор обновления - анонимность, было бы круто сделать подгрузку фавиконов опционально через настройки браузера
@Sadzurami said in Выпущена 24.0.2 версия BrowserAutomationStudio:
но это не универсально и требует соответствующих действий каждый раз, и т.к
В смысле не универсально? ))) Один раз в проекте сделал и забыл.
@FastSpace, скачай Process Explorer и в нём посмотри всякие значения. Похоже на какую-то утечку, типа GDI объектов или ещё чего-нибудь.
@Sadzurami а смысл ? если они по папкам профиля ? а папки у профилей разные . вот отключение может имхо даже повредить.
@alex88 всё зависит от целей
если анонимность не нужна, а наоборот необходимо нагуливание информации об устройстве - пожалуйста, пусть собирают фингерпринты фавиконов
но если задача на одном профиле просто менять отпечатки - через подобный фингерпринтинг можно идентифицировать пользователя
поэтому и говорю, что желательно не полностью отключать, а лишь сделать настройкой браузера, т.к. это можно отнести к фактору анонимизации
