Проблема при многопоточной работе с ресурсом

Поддержка
  • Всех приветсвую, столкнулся со следующей проблемой: при проверке из ресурса (10к строк) паблик прокси на доступ к нужному сайту в 250 потоков происходит следующее. Когда количество строк в ресурсе (а они удаляются) становится меньше числа потоков, то скрипт существенно теряет в скорости и выдает многочисленное "ожидание ресурса прокси" хотя когда строк больше чем потоков он шпарит как угорелый, и оставшиеся условные 50-100 прокси начинают проверятся с улиточной скоростью, хотя таймаут выставлен 10 секунд, 1 проверка может затянуться на 5-10 минут что явно не нормально. У меня успешных и неудачных выполнений стоит по 1, интервал который 5000мск по стандарту я также менял на ноль и 500, делал не прерывать приложение, одновременных использований 1 т.к мне не нужны два результата проверки одной прокси, что можно предпринять чтоб это исправить.

    кратко: слишком долгое зависание скрипта в ожидании ресурса и обработке оставшихся прокси когда ресурсов меньше чем количество потоков и вынужденная остановка скрипта в ручную

  • @sayado Просто костыль сделай, не обращается к ресурсу если строк меньше чем запущено всего потоков.

  • @FastSpace благодарю за подсказку, но не совсем понял, а как к нему не обращаться? как это реализуемо вообще

  • @sayado колличество элементов в ресурсе. Меньше чем x, ждать пока появится больше

  • @FastSpace а "ждать пока появится больше" это какой кубик? или что это

  • @FastSpace said in Проблема при многопоточной работе с ресурсом:

    @sayado колличество элементов в ресурсе. Меньше чем x, ждать пока появится больше

    ?? как мне "ждать пока появится больше"?