Вот скрипт, который вызывает утечку памяти. Проблема проявляется при подключении файлов в кубике NodeJS. Чем больше подключений, тем быстрее забивается память. Если использовать подключение установленных NPM модулей, такой проблемы нет. В итоге получается, что проблема с файлами, и свои функции не написать. Разве что объявлять их один раз через глобальную переменную, а затем обращаться к ней. Но тогда в режиме записи при внесении изменений в кубике ноды глобальные переменные сбрасываются.
Утечка памяти или из за чего происходит сбой системы?
-
@HustleMan, ну я хз, у меня были скрипты которые в сотни потоков работали неделями, без каких либо проблем
-
@HustleMan Да, но у меня в одной копии по 700 потоков работает
-
@HustleMan, нет, были обычные скрипты на http клиенте + node.js, увеличение потребления памяти никогда не замечал
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue а в секунду?
Не знаю ) Но утечек памяти у меня точно нет
-
@HustleMan последняя, у меня ни на какой версии не было таких проблем
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue так почему тогда не запустить 3к потоков в одном окне?
Будет лагать, лучше несколько копий
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@GhostZ благодарю за ответ и ваше время, спарсил 100 000 ссылок, немного медленнее стало утекать, но проблема осталась.
Сколько времени должен работать ваш скрипт, что бы проблема проявилась?
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue а зачем копии если можно в одном окне указать больше потоков или нет?
BAS не очень хорошо использует множество ядер, по этому и выгоднее запускать большое количество потоков в нескольких копиях скрипта
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue ну и я о том же, будет лагать. А вопрос почему? А должно ли так быть? А что нужно чтобы не лагало? А как я могу что-то сделать если я понятия не имею как оно работает, как и большинство новичков
У меня все скрипты работают на запросах, многие работают сутками без остановки, проблему утечки памяти ни разу не замечал. Проблема которую описал топикастер происходит при использовании временных профилей браузера, при использовании http-клиента утечек быть не должно.
-
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@Fox @Fox по времени достаточно и 15 мин при 40 потоках чтобы увидеть как потребление озу стремиться только вверх
С использованием прокси или можно без прокси?
-
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@Fox я без прокси запускал, сейчас домой приду и скину скрин что вышло по итогу Парсинга 750000 страниц, я для сравнения один раз прогнал с логом и один раз без лога
Да, без прокси в 40 потоков спустя пол часа началось стабильное увеличиваться потребление памяти. Спасибо за тестовый скрипт, буду разбираться
-
@Fox Вот для наглядности скрины. Тест проводил на скрипте который прислал @GhostZ no_recursion.xml
На этом скрине был включен лог (Модуль Logger) и сброс http клиента(не знаю влияет или нет).
Выполнялся парсинг 750 000 страничек без записи куда-либо, просто в лог 1 страничка = 1 запись в лог.
В результате потребление ОЗУ росло вплоть до завершения работы скрипта.
На этом скрине я убрал лог и сброс http клиента. Потребление ОЗУ снизилось в разы, но утечка все равно есть
о чем свидетельствует уже этот скрин. За 11 минут потребление возросло на 9.3 мб, значит в минуту утекает 0.84 мб.
UPD: на данный момент в 17:30 уже 385.7 мб, а при старте было около 250 мб.
Вполне вероятно что на старых версиях утечка тоже есть. Просто никто не хочет что-то тестить и заморачиваться, а ведь от этого зависит как будет работать BAS в дальнейшем.А заказчику что говорить то?)
