Почему при 40 одновременных запусках время подготовки браузеров увеличивается вдвое?

[bel1n1sw4g]

Здравствуйте. Есть проблема с массовым запуском браузеров через playwright-with-fingerprints. Сервер: 188 vCPU, 360 GiB оперативки. По общей загрузке сервер далеко от предела, но при увеличении количества запусков время подготовки растёт.

При запуске 3 браузеров медиана готовности 14,68 секунды, максимум 25,45. При запуске 40 одновременно медиана уже 29,73 секунды, максимум 55,11. Даже самый быстрый из 40 готовился 22 секунды. В прогоне на 3 браузера был один повтор из-за SDK_IP_DETECTION, а на 40 все первоначальные браузеры подготовились без ошибок и повторов.

Каждому профилю уже выделили отдельный поток и сетевой цикл. На 40 профилей работают 5 процессов координаторов, 40 потоков профилей и 40 сетевых циклов. Это проблему не решило.

Добавили свои замеры. Среднее получение отпечатка выросло с 1,77 до 5,79 секунды. Нативная подготовка SDK до передачи управления Playwright выросла с 9,91 до 17,83 секунды. Запуск Chromium и подключение Playwright с 0,66 до 2,67 секунды. Эти значения относятся к успешным попыткам. Основной прирост времени виден в нативной подготовке, но что конкретно там ждёт, непонятно.

Есть ли внутри SDK общие очереди или блокировки между экземплярами? Ограничения по ключу, IP сервера, каталогу движка или нативному исполнителю? Как проверить, срабатывают ли они у меня?

Какие логи включить, чтобы отдельно увидеть время определения IP, применения отпечатка и ожидания нативного исполнителя? И почему получение отпечатков тоже замедляется при параллельных запросах? Можно это проверить на вашей стороне?

Нужно запускать 100 браузеров одновременно, чтобы каждый был готов примерно за 20 секунд. Уже два дня разбираюсь с этим. Нужна конкретика: какую схему запуска использовать, какой минимальный тест выполнить и какие данные вам передать. Отчёт и исходные журналы реальных прогонов есть, могу приложить.

[usertrue]

@bel1n1sw4g Он запускает браузеры последовательно, а не паралельно. Отдельные процессы не решат проблему насколько помню. Нужно для каждого процесса указывать свою папку для самого движка БАСа, если папка общая то насколько я помню там все равно есть блокировка и запуск последовательный.

[sergerdn]

@bel1n1sw4g said in Почему при 40 одновременных запусках время подготовки браузеров увеличивается вдвое?:

Нужно запускать 100 браузеров одновременно, чтобы каждый был готов примерно за 20 секунд. Уже два дня разбираюсь с этим.

Каждая процедура запуска браузера в библиотеке проходит один и тот же путь инициализации, включая пачку online проверок. Я писал патчи, что перехватывали эти запросы и подсовывали нужные ответы. То есть вся подготовка запуска браузера была локальной.

Советую начать с этого, далее уже запускать браузеры пачками в новых процессах, там тоже будут нюансы, но они решаемые.