проблему сам решил. решил написать, чтобы имели ввиду. я мешал строки юзер агентов, из-за этого не работали они вообще. возможно это связано с тем что их больше 5000 в файле
@smurfik Проверил, работает и в режиме записи и в режиме запуска и в скомпилированном варианте и если брать агенты из файла с 5000 строк. Скорее всего вы где-то ошиблись.
@Fox Хорошо. Буду пробовать, думал есть решение без списка ссылок. В любом случае Спасибо за отклик.
есть решение и без списка ссылок, например в цикле сразу создавать асинхронные потоки с определённым промежутком ссылок. А результат скидывать в ресурс