Всем привет! Подскажите как реализовать чтобы количество потоков было равно количество прокси?
Пример:
В файле есть 5 прокси, скрипт работает в 5 потоков. Спустя час я убираю из файла 2 прокси, остаеться 3 прокси, и софт работает в 3 потока.
@000 я примерно к такому же решению пришел, только вместо fail у меня там бесконечный цикл с ожиданием. Но вариант с фейлом мне больше нравится. В идеале еще бы как-то отключить вывод fail сообщения в лог для потоков которые пропускаем.
Переходите на http клиент и работайте через GET/POST запросы. Полная эмуляция браузера - тяжелый процесс, поэтому и лаги возникают. У меня тоже комп с 12 ядерным ryzen и 32 гб оперативы не вывозит больше 15-25 браузеров. http клиент если грамотно им пользоваться по словам разработчиков может выдерживать до 2000 потоков. Я запускал 100 потоков через http клиента и нагрузка на процессор была в районе 1%.
@andrwork а откуда данные берутся? они проверяются перед тем как заносить в БД?
Как вариант конечно отдельный поток который будет собирать данные с рабочих потоков (через те же списки) и заносить их в БД, предварительно производя валидацию)
