Утечка памяти или из за чего происходит сбой системы?

[Emmett]

@gurkin4 попробую

[Emmett]

@gurkin4 не помогло

[Emmett]

вот столько требуется моему скрипту, чтобы поймать эту проблему, при работе в 40 потоков на эмуляции

+- В одно время происходит

@Fox это если что уже мой скрипт, на другую задача, а не тот от другого кодера что в шапке, но проблема точно ткая же, только провялется быстрее

[Emmett]

Первый раз вижу диспетчер задач в таком виде, система в зищиту уходит.

[Emmett]

крашнулся бас, но память остается забитой

[Emmett]

[Emmett]

[sergerdn]

@Emmett

Судя по последним скринам(скрин с ntdll.dll.), есть гипотеза, что кто-то на сервере криво работает с сетью. Но не понятно является ли это причиной или следствием отсутствия RAM.

Наверное , если я бы столкнулся с такой абсолютно непонятно утечкой, я бы сделал в скрипте "stop the world" или полный перезапуск.

Например:

• каждый час останавливал бы работу всех потоков в скрипте с сохранением прогресса и с ожиданием завершения каждого потока. Закрыл бы в каждом потоке профили, браузеры, открытые файлы, etc.
• скрипт или перезапускал бы себя сам с того места, где остановился или бы только перезапускал процессы браузера

В момент перезапуска скрипта можно писать в лог какое кол-во свободной RAM есть.

Вероятно, я так же написал бы отдельный скрипт, который проверял бы наличие свободной RAM и при определенном пороге перезагружал бы сервер принудительно. Добавил бы этот скрипт в расписание ОС запуском каждый час также, например. Так я сохранил бы удаленный доступ к серверу, не дожидаясь на сервере критического отсутствия RAM.

Я думаю, что вышеописанный обходной путь является рабочим и куда более быстрым в реализации, чем поиск информации, что же блин на этот раз у меня утекло. А когда причина нашлась бы, если нашлась бы, то надо было бы думать как же, блин, это пофиксить

И, самое главное, его можно реализовать самому, не уповая на других людей. В данном случае на команду BAS.

[Emmett]

Перезагрузкой сервера это только и лечится... уже 2 года в таком режиме сидим. При перезагрузки скрипта который течет, озу остается так же забитой.

Проблему откуда идет я кажется обнаружил...
Все скрипты объединяет, что они сделаны на twitch.tv.

• Не мой скрипт на рекламу(использует ~80 человек у всех наблюдаются проблемы с утечкой | у меня начинает ловить ошибки связанные с утечкой память на 20 серверах через +-20 часов при работе в 20 потоков. Проявляется на всех серверах не одновременно, мб разница в пару часов. характеристики серверов и настройки bas идентичны и запускаются в одно время): работает загружая страницы: https://www.twitch.tv/ESLCS или https://www.twitch.tv/videos/1780658779(ссылки для примера)
• Мой* скрипт на подписки (быстро начинает течь. Проявляется за +-3 часа при работе в 40 потоков): работает загружая страницы: https://www.twitch.tv/ESLCS
• Мой* скрипт авторегер (Нет утечки памяти. при работе в 40 потоков): работает загружая страницы: https://www.twitch.tv/settings/

*- оба моих скрипта, это один проект, просто два разных режима работы. Один течет, другой нет

Так в итоге при загрузке https://www.twitch.tv/ESLCS или https://www.twitch.tv/videos/1780658779 прогружается плеер твич, онлайн или сохраненой трансляции
А при загрузке https://www.twitch.tv/settings/ нет плеера трансляции.

98% что утечку вызывает плеер twitch.tv или то что находится с ним на странице

HELP!

[Emmett]

Мой скрипт авторегер, проработал 3 часа 20 минут в 40 потоков. Утечки нет.

Остановил скрипт. Озу освободилась

Столько занимает озу, после перезагрузки системы.

[Emmett]

Мой скрипт на подписки, проработал 20 минут в 40 потоков. Который ловит утечку через 3 часа.

Озу осталось немного забитой.

[Emmett]

@Fox есть догадки что на твиче может вызывать утечку? клик

На софтах, сделаных на хромиум, такой проблемы не возникает.

[Fox]

@Emmett said in Утечка памяти или из за чего происходит сбой системы?:

@Fox есть догадки что на твиче может вызывать утечку? клик

На софтах, сделаных на хромиум, такой проблемы не возникает.

Вы используете временные или локальные профили при работе с браузером?

[Emmett]

@Fox скорее временный, галку кеширование профилей убрал.

[Fox]

@Emmett said in Утечка памяти или из за чего происходит сбой системы?:

@Fox скорее временный, галку кеширование профилей убрал.

Попробуйте использовать локальные. Для теста утечки, если позволяет размер жёсткого диска, создавайте и не удаляйте после использования локальные профиля.

[Emmett]

@Fox а для чего это?

[Emmett]

@Fox

[FastSpace]

@Emmett Ты пытаешься 1 профиль на всех использовать. Вместо ProfilesFolowers сделай случайную строку

[Emmett]

@FastSpace Сделал, спасибо.

@Fox ну мне кажется под наши задачи такое не очень подойдет, за один круг только 10к профилей будет создано выходит в районе 500гб на жд

[gurkin4]

@Emmett А запуск BAT файла от имени админа не поможет? Лично мне помогает.
Закрывает все процессы, связанные с BAS.

@echo off
taskkill /f /im worker.exe
taskkill /f /im FastExecuteScript.exe
taskkill /f /im Chromium
taskkill /f /im BrowserAutomationStudio.exe

Заодно можно сделать перезапуск Explorer, добавив ещё строки:

taskkill /f /im explorer.exe
start "" /min "%SYSTEMROOT%\explorer.exe"