Выпущена 24.0.2 версия BrowserAutomationStudio

[FastSpace]

@Fox Ну эти баги сложно самому фиксить, то что я сюда пишу это действительно раздражает, остальное я фикшу сам.
Тот же баг когда отпечаток не применяется, просто сделал выход по красной ветке с завершением потока. Отлично понимаю, что это уже вечный баг новой версии и его никто фиксить не будет.

[Fox]

@FastSpace said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@Fox Ну эти баги сложно самому фиксить, то что я сюда пишу это действительно раздражает, остальное я фикшу сам.

Все баги, которые я смог повторить - отправил разработчику. Из вашего списка тикеты созданы по "рдп неактивность".

"файл подкачки" - вы отказались написать хоть какой то примерный алгоритм возникновения ошибки
"перестать юзать профиль" - в очереди на тест
"передача данных во вкладках" - это вы про свой пост выше? https://community.bablosoft.com/topic/15545/выпущена-24-0-2-версия-browserautomationstudio/370
если да, то я его ещё не проверял
"неподгрузка окна профиля из отпечатка" - я потратил 3 часа на разные тесты, в итоге вы сказали, что всё нормально

[Fox]

@FastSpace said in Выпущена 24.0.2 версия BrowserAutomationStudio:

Тот же баг когда отпечаток не применяется, просто сделал выход по красной ветке с завершением потока. Отлично понимаю, что это уже вечный баг новой версии и его никто фиксить не будет.

Я у вас несколько раз спрашивал по каким параметрам вы понимаете, что отпечаток в профиль не применяется. Но вы так и не смогли ответить, только записали видео по которому было ясно только то, что меняется размер окна браузера.
Сейчас же вы говорите, что это "вечный баг" и что вы смогли его обработать логикой BAS.. А в чём сложность дать мне ответ по каким же всё таки критериям вы определяете, что отпечаток не применился?

[FastSpace]

@Fox said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@Fox Ну эти баги сложно самому фиксить, то что я сюда пишу это действительно раздражает, остальное я фикшу сам.

Все баги, которые я смог повторить - отправил разработчику. Из вашего списка тикеты созданы по "рдп неактивность".

"файл подкачки" - вы отказались написать хоть какой то примерный алгоритм возникновения ошибки

А это что? Там даже от Titus есть частичное решение!
https://community.bablosoft.com/topic/15545/выпущена-24-0-2-версия-browserautomationstudio/368

"неподгрузка окна профиля из отпечатка" - я потратил 3 часа на разные тесты, в итоге вы сказали, что всё нормально

По твоему запуск окна с неправильным сайзом окна это нормально? Да оно ресайзится, но я не должен это руками делать.

"передача данных во вкладках" - это вы про свой пост выше? https://community.bablosoft.com/topic/15545/выпущена-24-0-2-версия-browserautomationstudio/370
если да, то я его ещё не проверял
"перестать юзать профиль" - в очереди на тест

Очень, хорошо. Будь добр посмотри.

Я у вас несколько раз спрашивал по каким параметрам вы понимаете, что отпечаток в профиль не применяется. Но вы так и не смогли ответить, только записали видео по которому было ясно только то, что меняется размер окна браузера.
Сейчас же вы говорите, что это "вечный баг" и что вы смогли его обработать логикой BAS.. А в чём сложность дать мне ответ по каким же всё таки критериям вы определяете, что отпечаток не применился?

Это другой баг, сайз окна это отдельный баг. Есть баг в действие Применить отпечаток, оно может завершиться с такой ошибкой и это я сказал не я один.
https://community.bablosoft.com/topic/14244/таймаут-во-время-выполнения-setacceptlanguagepattern
Это уже вечный баг новой версии 100%, так что сделал просто выход по красной ветке.
Думаю там приходит какие-то левые данные в отпечатке, потом залогирую отпечаток, изучу его тщательно и сделаю себе custom фильтр.

spoiler

[euseller]

@workless_shark
новый формат похож на нормальный уже. неужели чудо свершилось и теперь он едабельный, кроме начала синтаксиса...

[euseller]

@floraby
у меня увидело вроде новый формат. Дайте тестовый ваш файл куки в новом, попробую.

[den335]

А инструменты разработчик а в 24.0.4 вобще не работают?

[Fox]

@den335 said in Выпущена 24.0.2 версия BrowserAutomationStudio:

А инструменты разработчик а в 24.0.4 вобще не работают?

Работают, но ссылку нужно открывать в хроме

[Sadzurami]

версия 24.0.4
проблема с сертификатами не устранена
используется локальный прокси, сайт может быть любым
с флагом "--ignore-certificate-errors" подобной проблемы нет

[titus]

@FastSpace , файл подкачки это врятли баг баса , а скорее всего хромиума . Вариант выставить лимит кеша почему "не вариант" ?
@Sadzurami а обычный браузер через этот же прокси нормально идёт ? если нет то ставь сертификат , если же уже установлен но хромиум баса не видит сертификаты то либо принудительно подсовывать либо просто использовать игнор ошибки сертифика и жить спокойно . В старом оно по умолчанию было т.к там была проблема скормить сертификат цефу .

[FastSpace]

@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace , файл подкачки это врятли баг баса , а скорее всего хромиума . Вариант выставить лимит кеша почему "не вариант" ?

Выставил лимит, но это помогло только частитчно. Всю равно упираюсь как-то в диск, винда лагает.

[Sadzurami]

@titus обычный браузер тоже ругается на локальные прокси.
Ничего против флагов не имею, просто выше разработчик написал, если проблема появляется после апдейта (24.0.4) - сообщить тут с шагами для воспроизведения.

[titus]

@FastSpace а что именно жрёт так и не нашлось ? поясню . отмотал выше , на скринах у тебя ссд в потолок 100% убивается записью то было до включения лимита и отключения фп ? . Загрузить так ссд это надо постараться . Там чтоименно работает ? во сколько потоков ? профиля именно с этого диска ? чтение или запись так топит нагрузку т.к на скрине запись и там было до отключения фп и увеличения кеша . сейчас фп выключен ?
распиши подробнее может какое то точное действие грузит диск или ещё что . Я у себя второй день повторить немогу :D больше 10-15 % на ссд не вижу . 20 потоков с ограниченным кешем в 100 мб с рандомными профилями гуляют по рандомным сайтам . на ссд 10-15% . если брать nvme то больше 3-5 % не видел . поэтому и тотальное недопонимание )
тестилось на win 7 32gb \ ssd \ фп отключен
win 10 64 gb \ nvme \ фп включен в авто режиме .

spoiler

в обоих вариантах стабильно пашет без особой нагрузки . профиля 200 шт гоняются по кругу .

[FastSpace]

@titus В том и дело. Что больше не грузит диск на 100% после лимита, но когда запускаешь много потоков (больше 30), то браузеры начинают работать с пингом > 300, общее быстро действие системы значительно падает, винда начинает лагать и все диско виснет, даже диспетчер задач не открыть. Процессор, оперативная память не нагружены выше 50%, пробовал на домашнем пк на nvme (но он pcie-3.0), он тянет в 2 раза больше потоков и также упирается в пинг браузеров. При этом также в диспетчере не вижу нагрузки с лимитом.
Это если @support не пофиксит, тут придется как-то еще костылить, помню @UserTrue писал про как-то жесткий костыль выгрузки профилей в оперативу и контроль чтения и записи. Ну или либо покупка m2-SSD со скоростями для шины pcie-4.0.

[titus]

@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает" хотя cpu и нагрузка на диск была далеко не 100% , паралельно при старте включается taskman delux и логировал нагрузку. теперь понятнее . кстати выгрузка профилей в озушку - это не великий костыль , я рам диском постоянно пользуюсь , это "лаг системы" видел и на рам диске . Но пока хз как именно отловить ибо в таксмане нагрузка cpu и диск не превышались .

[FastSpace]

@titus said in Выпущена 24.0.2 версия BrowserAutomationStudio:

@FastSpace вот чтото похожее видел , при старте многопотока и иногда во время работы попытка открытия таксмана - последний уходил в "не отвечает"

Именно, а если работаешь на nvme, использует файл подкачки и стартуешь число потоков в 45-50, то никаких лагов нет.
Т.е обычный SSD у меня тянет 30, nvme - 60. Это уже потолок, по винде шарится уже нельзя, но шаблон работает как положено.

Там еще такая штука у диска есть, как работа с мелкими файлами, она не создает визуальной нагрузки в диспетчере задач. Возможно пингует из-за этого, в общем точную причину пока не определил, я тут пока занет фиксами еще кучей овер багов вызванным переходом на новый движ, которые никто никогда не пофиксит, кроме меня.

[kotikov]

@Fox
Если есть возможность то спросить у @support влияют ли опции

--single-process
--no-sandbox
--disable-setuid-sandbox
--disable-dev-shm-usage
--no-zygote
--no-first-run

на анонимность, так как они очень сильно помогают для многопотока?

[A Former User]

У кого Windows Server, зайдите в журналы событий Windows - Безопасность. Там во время работы скрипта журнал стремительно заполняется событиями Учетной записи не удалось выполнить вход в систему и Перечислено участие пользователя в локальных группах. Интересно, с чем это связано? На предыдущей версии 23.2.2 такого не было.

UPD. Это есть и на Windows 10.

[Sadzurami]

сообщение для @Fox и @support

к слову об анонимности к посту выше от @kotikov
так же хотелось бы узнать, возможно ли по умолчанию отключить подгрузку иконок сайтов?

существует способ фингерпринтинга с помощью фавиконов, пример: https://github.com/jonasstrehle/supercookie , и это лишь один из немногих, сейчас становится всё популярнее

информация о фавиконах чаще всего хранится в файле favicons в папке профиля

могу ошибаться, но - CEF раньше не строго относится к фавиконам: если сама страница их не подгружала, то и браузер соответственно этого не делал
сейчас же, даже если сама страница не подгружает фавикон - браузер пытается его получить

пример страницы - https://example.com/
сама страница не содержит фавикона, но как видно из скрина - браузер пытается его получить

на ошибку connection_refused не стоит обращать внимание - запретил подгрузку самостоятельно

конечно, запрещать подгрузку фавиконов можно через "запретить запрос", но это не универсально и требует соответствующих действий каждый раз, и т.к. основной упор обновления - анонимность, было бы круто сделать подгрузку фавиконов опционально через настройки браузера

[Ajshma]

@Sadzurami said in Выпущена 24.0.2 версия BrowserAutomationStudio:

но это не универсально и требует соответствующих действий каждый раз, и т.к

В смысле не универсально? ))) Один раз в проекте сделал и забыл.