2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
Короче сам, допер, надо все где имеется вероятность вылететь обвернуть в игнорировать ошибки ошибки И оказывается при создании блока ошибки создается 2 переменные WAS_ERROR и ласт ерро. С ними короче и буду плясать.
Может кому понадобится.