Проблема при многопоточной работе с ресурсом

[sayado]

Всех приветсвую, столкнулся со следующей проблемой: при проверке из ресурса (10к строк) паблик прокси на доступ к нужному сайту в 250 потоков происходит следующее. Когда количество строк в ресурсе (а они удаляются) становится меньше числа потоков, то скрипт существенно теряет в скорости и выдает многочисленное "ожидание ресурса прокси" хотя когда строк больше чем потоков он шпарит как угорелый, и оставшиеся условные 50-100 прокси начинают проверятся с улиточной скоростью, хотя таймаут выставлен 10 секунд, 1 проверка может затянуться на 5-10 минут что явно не нормально. У меня успешных и неудачных выполнений стоит по 1, интервал который 5000мск по стандарту я также менял на ноль и 500, делал не прерывать приложение, одновременных использований 1 т.к мне не нужны два результата проверки одной прокси, что можно предпринять чтоб это исправить.

кратко: слишком долгое зависание скрипта в ожидании ресурса и обработке оставшихся прокси когда ресурсов меньше чем количество потоков и вынужденная остановка скрипта в ручную

[FastSpace]

@sayado Просто костыль сделай, не обращается к ресурсу если строк меньше чем запущено всего потоков.

[sayado]

@FastSpace благодарю за подсказку, но не совсем понял, а как к нему не обращаться? как это реализуемо вообще

[FastSpace]

@sayado колличество элементов в ресурсе. Меньше чем x, ждать пока появится больше

[sayado]

@FastSpace а "ждать пока появится больше" это какой кубик? или что это

[sayado]

@FastSpace said in Проблема при многопоточной работе с ресурсом:

@sayado колличество элементов в ресурсе. Меньше чем x, ждать пока появится больше

?? как мне "ждать пока появится больше"?