@HustleMan Да, но у меня в одной копии по 700 потоков работает
@HustleMan, нет, были обычные скрипты на http клиенте + node.js, увеличение потребления памяти никогда не замечал
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue а в секунду?
Не знаю ) Но утечек памяти у меня точно нет
@HustleMan последняя, у меня ни на какой версии не было таких проблем
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue так почему тогда не запустить 3к потоков в одном окне?
Будет лагать, лучше несколько копий
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@GhostZ благодарю за ответ и ваше время, спарсил 100 000 ссылок, немного медленнее стало утекать, но проблема осталась.
Сколько времени должен работать ваш скрипт, что бы проблема проявилась?
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue а зачем копии если можно в одном окне указать больше потоков или нет?
BAS не очень хорошо использует множество ядер, по этому и выгоднее запускать большое количество потоков в нескольких копиях скрипта
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue ну и я о том же, будет лагать. А вопрос почему? А должно ли так быть? А что нужно чтобы не лагало? А как я могу что-то сделать если я понятия не имею как оно работает, как и большинство новичков
У меня все скрипты работают на запросах, многие работают сутками без остановки, проблему утечки памяти ни разу не замечал. Проблема которую описал топикастер происходит при использовании временных профилей браузера, при использовании http-клиента утечек быть не должно.
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@Fox @Fox по времени достаточно и 15 мин при 40 потоках чтобы увидеть как потребление озу стремиться только вверх
С использованием прокси или можно без прокси?
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@Fox я без прокси запускал, сейчас домой приду и скину скрин что вышло по итогу Парсинга 750000 страниц, я для сравнения один раз прогнал с логом и один раз без лога
Да, без прокси в 40 потоков спустя пол часа началось стабильное увеличиваться потребление памяти. Спасибо за тестовый скрипт, буду разбираться
@Fox Вот для наглядности скрины. Тест проводил на скрипте который прислал @GhostZ no_recursion.xml
На этом скрине был включен лог (Модуль Logger) и сброс http клиента(не знаю влияет или нет).
Выполнялся парсинг 750 000 страничек без записи куда-либо, просто в лог 1 страничка = 1 запись в лог.
В результате потребление ОЗУ росло вплоть до завершения работы скрипта.
На этом скрине я убрал лог и сброс http клиента. Потребление ОЗУ снизилось в разы, но утечка все равно есть
о чем свидетельствует уже этот скрин. За 11 минут потребление возросло на 9.3 мб, значит в минуту утекает 0.84 мб.
UPD: на данный момент в 17:30 уже 385.7 мб, а при старте было около 250 мб.
Вполне вероятно что на старых версиях утечка тоже есть. Просто никто не хочет что-то тестить и заморачиваться, а ведь от этого зависит как будет работать BAS в дальнейшем.
А заказчику что говорить то?)
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
UPD: на данный момент в 17:30 уже 385.7 мб, а при старте было около 250 мб.
Вполне вероятно что на старых версиях утечка тоже есть. Просто никто не хочет что-то тестить и заморачиваться, а ведь от этого зависит как будет работать BAS в дальнейшем.
Я в данный момент как раз и занят тестами. Убираю по частям все действия, которые в теории могут вызывать эту проблему и проверяю, происходит утечка или нет
@Fox тоже погонял этот скрипт, из интересного память остаётся еще частично забитой после остановки, и после повторного запуска (без перезапуска бас) память стартует с этой отметки.
Например, через 20 минут работы скрипт потреблял 670 мб оперативы, после остановки занятая память была на уровне 611мб, запускаю снова и останавлию на 800 мб - занятая память после остановки - 722 мб.
Так же скорее всего причина утечки в одной из ошибок
getaddrinfo() thread failed to start
Failed to connect to api.uzum.uz port 443: Address already in use
