при 2-х открытых вкладках поток берет 700мб оперативы

[smurfik]

Кто то сталкивался с таким? как решить проблему есть предположения? при запуске каждый поток берет 10мб, и потом каждую секунду все больше и больше. сегодня смотрел, даже 740мб взял один поток.

[Bot_Sculptor]

@smurfik это смотря что в том потоке делать. Можно и 15гб занять , прочитав файл 15гб в оперативку.. так что детали-детали.

[smurfik]

@out ничего особенного. файлов никаких не читает, один и тот текстовый. я уже сделал больше 10 скриптов для себя, и такое первый раз вижу. единственное, что раньше все скрипты были на одной вкладке, а этот на 2 вкладки. на первой вкладке авторизация - данные из файла и открывает новую вкладку. на второй делает регистрацию, после чего переходит на первую вкладку, чтобы взять там код, который после, уже вставляет во второй вкладке. так же есть переменная, которая увеличивается на 1, если регистрация не удалась

[smurfik]

ну это все поверхностно описано, так то там на много все сложнее, много if и прочего... но суть в том что работа с 2 обычными сайтами, и текстом, который по сути не должен и 10 мб занимать в оперативке

[Bot_Sculptor]

@smurfik хотелось бы , чтобы ты проект отдал админу, чтобы он наверняка выяснил в чем причина, т.к. ситуация серьезная.

[smurfik]

@out ситуация настолько серьезная, что даже он ничего не посоветовал( посоветовал немного в настройках полазить, это помогло, но только тем что оператива хотя бы возвращается когда поток завершил работу. и новый поток начинается с 10 мб, а не продолжает те 700 которые прошлый круг набил

[Bot_Sculptor]

@smurfik ну если у скрипта эта проблема постоянно, т.е. воспроизводится ВСЕГДА, то вряд ли составить труда для него, понять куда "утекает" память )
другое дело, может он не смотрел/тестировал..

[smurfik]

@out не смотрел, я не скидывал

[BigLebovski]

@smurfik у меня при 50 потоках используется около 6 гб, но если смотреть только ресурсы используемые басом не более 100 мб на один поток. Как вариант попробуйте задействовать все ядра процессора, мне в свое время помогло когда бас зависал без особых причин.

[smurfik]

@BigLebovski у меня нагрузка 100% на все ядра интел 5. и на каждый поток по 500-700 мб оперативки

[BigLebovski]

@smurfik если есть желание и проект не особо секретный/коммерческий скинь в личку попробую у себя запустить. Тут надо как говорится руками пощупать, у меня есть несколько объемных проектов но таких проблем не было.

[Bot_Sculptor]

@smurfik ты использовал "свой код" на js или свои самописные модули может ? Если да, то может в коде просто что-то напортачил.

[blackhacker]

@out У меня такая же проблема. Решил даже проверить, создал новый проект, сделал в нем загрузку сайта. Запустил в 20 потоков - каждый отъел по 300мб оперативки. Причем просто в диспетчере задач этого не увидеть, показало только через сторонний софт, ProcessExplorer. Когда только поток запускается, он почти не потребляет памяти, но стоит загрузить сайт, вот тогда начинается магия.

[Bot_Sculptor]

@blackhacker ждем админа с ПН , будем надеяться, что он оперативно отловит утечку )

[smurfik]

@BigLebovski проект сильно коммерческий. впринципе свыкся с этим косяком, на нормальных серверах, работает нормально.

[smurfik]

@out своих кодов нет, все то что есть в бас

[support]

@smurfik Удалось воспроизвести. Сегодня - завтра фикшу.

[Bot_Sculptor]

@support ради интереса (моего) из-за чего было ?

[support]

@out Пока не знаю, только получилось повторить. Закончу с форумом и пойду решать.

[support]

@smurfik Всю ночь разбирался с этой проблемой, итак:

Почему течет память?

Из-за криво написанной страницы сайта(той, которые вы дали мне в лс). Создаются новые элементы страницы и не удаляются, также не удаляются их обработчики.

Почему я так в этом уверен?

Тестировал на хроме 55 версии(с оптимизацией памяти): память постепенно растет с 200 мб до 1400, потом падает.
Тоже самое в хроме 54 и в вивальди.
Пробовал на фф 50 версии. Сначала ест 500 мб, постепенно размер памяти увеличивается.
Диагностика памяти показывает, что память выделенная джаваскриптом на странице достигает 700 мб и больше.
Можете попробовать сами, но нужно это делать без адблока, так как дело как раз в рекламе.

Как исправить?

Когда вам понадобиться зайти на тот сайт, можете открывать новую вкладку, когда сайт временно не будет нужным - закрыть вкладку.
Память нормально удаляется с закрытием вкладки. У меня с выключенными картинками, памяти выделялось от 150 до 250 мб в зависимости от наличия второй вкладки.
и еще 1 вариант - отключить запросы к скриптам рекламы.