Поддержу тему. С последних обновлений (27.1.1 точно) происходит постоянная утечка памяти,(статистика которой, по какой то причине, не показывается, чем занята в диспетчере, но занятость показывает), чем дольше работает скрипт (тестил и скомпилированное приложение и в редакторе, причём разные скрипты), тем больше течёт, вплоть до ошибки обращения к памяти (выделял до 128 гб на сервере, при 40 потоках браузера забивается за сутки).
Возможная проблема в эмуляции бездействия новой, но не могу подтвердить.
Проблема при многопоточной работе с ресурсом
-
Всех приветсвую, столкнулся со следующей проблемой: при проверке из ресурса (10к строк) паблик прокси на доступ к нужному сайту в 250 потоков происходит следующее. Когда количество строк в ресурсе (а они удаляются) становится меньше числа потоков, то скрипт существенно теряет в скорости и выдает многочисленное "ожидание ресурса прокси" хотя когда строк больше чем потоков он шпарит как угорелый, и оставшиеся условные 50-100 прокси начинают проверятся с улиточной скоростью, хотя таймаут выставлен 10 секунд, 1 проверка может затянуться на 5-10 минут что явно не нормально. У меня успешных и неудачных выполнений стоит по 1, интервал который 5000мск по стандарту я также менял на ноль и 500, делал не прерывать приложение, одновременных использований 1 т.к мне не нужны два результата проверки одной прокси, что можно предпринять чтоб это исправить.
кратко: слишком долгое зависание скрипта в ожидании ресурса и обработке оставшихся прокси когда ресурсов меньше чем количество потоков и вынужденная остановка скрипта в ручную
-
@FastSpace благодарю за подсказку, но не совсем понял, а как к нему не обращаться? как это реализуемо вообще
-
@FastSpace said in Проблема при многопоточной работе с ресурсом:
@sayado колличество элементов в ресурсе. Меньше чем x, ждать пока появится больше
?? как мне "ждать пока появится больше"?
