Утечка памяти или из за чего происходит сбой системы?

Поддержка
  • изображение.png
    изображение.png
    изображение.png
    3a5f227f-69cb-4cf9-a89a-e3afea67c741-изображение.png
    10890016-f555-4ae8-ae7d-b39e650ee0fd-изображение.png

  • @Emmett

    Судя по последним скринам(скрин с ntdll.dll.), есть гипотеза, что кто-то на сервере криво работает с сетью. Но не понятно является ли это причиной или следствием отсутствия RAM.

    Наверное , если я бы столкнулся с такой абсолютно непонятно утечкой, я бы сделал в скрипте "stop the world" или полный перезапуск.

    Например:

    • каждый час останавливал бы работу всех потоков в скрипте с сохранением прогресса и с ожиданием завершения каждого потока. Закрыл бы в каждом потоке профили, браузеры, открытые файлы, etc.
    • скрипт или перезапускал бы себя сам с того места, где остановился или бы только перезапускал процессы браузера

    В момент перезапуска скрипта можно писать в лог какое кол-во свободной RAM есть.

    Вероятно, я так же написал бы отдельный скрипт, который проверял бы наличие свободной RAM и при определенном пороге перезагружал бы сервер принудительно. Добавил бы этот скрипт в расписание ОС запуском каждый час также, например. Так я сохранил бы удаленный доступ к серверу, не дожидаясь на сервере критического отсутствия RAM.

    Я думаю, что вышеописанный обходной путь является рабочим и куда более быстрым в реализации, чем поиск информации, что же блин на этот раз у меня утекло. А когда причина нашлась бы, если нашлась бы, то надо было бы думать как же, блин, это пофиксить

    И, самое главное, его можно реализовать самому, не уповая на других людей. В данном случае на команду BAS.

  • Перезагрузкой сервера это только и лечится... уже 2 года в таком режиме сидим. При перезагрузки скрипта который течет, озу остается так же забитой.

    Проблему откуда идет я кажется обнаружил...
    Все скрипты объединяет, что они сделаны на twitch.tv.

    • Не мой скрипт на рекламу(использует ~80 человек у всех наблюдаются проблемы с утечкой | у меня начинает ловить ошибки связанные с утечкой память на 20 серверах через +-20 часов при работе в 20 потоков. Проявляется на всех серверах не одновременно, мб разница в пару часов. характеристики серверов и настройки bas идентичны и запускаются в одно время): работает загружая страницы: https://www.twitch.tv/ESLCS или https://www.twitch.tv/videos/1780658779(ссылки для примера)
    • Мой* скрипт на подписки (быстро начинает течь. Проявляется за +-3 часа при работе в 40 потоков): работает загружая страницы: https://www.twitch.tv/ESLCS
    • Мой* скрипт авторегер (Нет утечки памяти. при работе в 40 потоков): работает загружая страницы: https://www.twitch.tv/settings/

    *- оба моих скрипта, это один проект, просто два разных режима работы. Один течет, другой нет

    Так в итоге при загрузке https://www.twitch.tv/ESLCS или https://www.twitch.tv/videos/1780658779 прогружается плеер твич, онлайн или сохраненой трансляции
    А при загрузке https://www.twitch.tv/settings/ нет плеера трансляции.

    98% что утечку вызывает плеер twitch.tv или то что находится с ним на странице

    HELP!

  • Мой скрипт авторегер, проработал 3 часа 20 минут в 40 потоков. Утечки нет.
    изображение.png

    Остановил скрипт. Озу освободилась
    изображение.png

    Столько занимает озу, после перезагрузки системы.
    c7bf3d28-945f-45df-ae26-a3ee4609748a-изображение.png
    c818a0e7-41f8-4fab-90e0-a6bc13108583-изображение.png

  • Мой скрипт на подписки, проработал 20 минут в 40 потоков. Который ловит утечку через 3 часа.

    13e4b8c0-bf19-4c8f-8ae5-11888d3a8eae-изображение.png

    Озу осталось немного забитой.
    8735fb99-0688-49ee-a6d4-18e237c4abe7-изображение.png
    679e8d0d-305b-4ab4-841b-bc570bedbe31-изображение.png

  • @Fox есть догадки что на твиче может вызывать утечку? клик

    На софтах, сделаных на хромиум, такой проблемы не возникает.

  • @Emmett said in Утечка памяти или из за чего происходит сбой системы?:

    @Fox есть догадки что на твиче может вызывать утечку? клик

    На софтах, сделаных на хромиум, такой проблемы не возникает.

    Вы используете временные или локальные профили при работе с браузером?

  • @Fox скорее временный, галку кеширование профилей убрал.

  • @Emmett said in Утечка памяти или из за чего происходит сбой системы?:

    @Fox скорее временный, галку кеширование профилей убрал.

    Попробуйте использовать локальные. Для теста утечки, если позволяет размер жёсткого диска, создавайте и не удаляйте после использования локальные профиля.

  • @Fox а для чего это?

  • @Emmett Ты пытаешься 1 профиль на всех использовать. Вместо ProfilesFolowers сделай случайную строку

  • @FastSpace Сделал, спасибо.

    @Fox ну мне кажется под наши задачи такое не очень подойдет, за один круг только 10к профилей будет создано выходит в районе 500гб на жд

  • @Emmett А запуск BAT файла от имени админа не поможет? Лично мне помогает.
    Закрывает все процессы, связанные с BAS.

    @echo off
    taskkill /f /im worker.exe
    taskkill /f /im FastExecuteScript.exe
    taskkill /f /im Chromium
    taskkill /f /im BrowserAutomationStudio.exe
    

    Заодно можно сделать перезапуск Explorer, добавив ещё строки:

    taskkill /f /im explorer.exe
    start "" /min "%SYSTEMROOT%\explorer.exe"
    
  • @Emmett said in Утечка памяти или из за чего происходит сбой системы?:

    @Fox ну мне кажется под наши задачи такое не очень подойдет, за один круг только 10к профилей будет создано выходит в районе 500гб на жд

    В прошлый раз ошибка была связана со временными профилями, по этому хочу проверить работу локальных профилей. Раз у меня нет возможности повторить проблему у себя, я прошу вас это сделать.

  • @Emmett said in Утечка памяти или из за чего происходит сбой системы?:

    вот столько требуется моему скрипту, чтобы поймать эту проблему, при работе в 40 потоков на эмуляции

    Не могли бы вы прикрепить данный скрипт здесь или в лс форума?

  • @Emmett said in Утечка памяти или из за чего происходит сбой системы?:

    @Fox

    Что вы хотели сказать этими скриншотами?

  • @Fox использовал локальные профили, как вы и сказали. Скрип закончил работу, но как видим 23гб осталось занятым, в процессах ничего не отображает, что забивает озу. Батник @gurkin4 в данном случае не работает.

  • @Emmett said in Утечка памяти или из за чего происходит сбой системы?:

    @Fox использовал локальные профили, как вы и сказали. Скрип закончил работу, но как видим 23гб осталось занятым, в процессах ничего не отображает, что забивает озу. Батник @gurkin4 в данном случае не работает.

    Во вкладке "Подробности" тоже нет отображения прожорливого процесса?

    d3bfe5a1-9bc0-474c-aaee-5fac013b692c-изображение.png

  • 0 Votes
    6 Posts
    585 Views
  • 0 Votes
    2 Posts
    414 Views
  • 0 Votes
    7 Posts
    940 Views
  • 0 Votes
    11 Posts
    1821 Views
  • 0 Votes
    4 Posts
    823 Views