это заказ на фрилансе и то не каждый с ней справится.
Задача в реализации простая с наличием хоть какого-то опыта в парсинге сайтов.
Задача у автора не сделать ЛИЖБЫ работало. А сделать чтобы работало еще с минимальной нагрузкой на процессор и наверно скорость тоже. Моё решение кокраз такое.
по хорошему надо для начала проверить поддерживает ли сайт ipv6 и если не поддерживает, а прокся внешним айпи выдает не ipv4, то добавлять в черный список такую проксю и уходить выше на метку выбора другой прокси из списка.
ну и дай проксе несколько попыток подключения: поставь кубик for 1:6. внутри ФОРа кубик загрузки сайта, обернутый в игнорирование ошибок.
@steamcs1.7
как вариант - посмотреть в инструментах разработчика какие запросы еще делаются при загрузке сайта.
Например при загрузке google.com у меня происходит около 30ти одновременных запросов, подгружаются всякие стили, изображения, скрипты. Смотрите в эту сторону, что можно урезать через запретить запрос. Или перевести работу на http запросы по возможности
@info2010 Если прокси не работает, то поток прервется и перезапустится уже с другим прокси. Так что вашу задачу можно решить установив количество неудачных использований.
0_1483855769828_FailUsage.png
Игнорировать ошибки можно использовать, но не обязательно, все намного проще.