Как вариант: закидываем все url страниц любым удобным способом в список, и в начале работы из этого списка берём рандомный элемент. Данный элемент - нужная ссылка, её грузим в браузере и далее по сценарию.
Было бы замечательно, если бы вы описали более подробно вашу ситуацию. Потому что исходя из вашего текста я могу лишь сказать следующее: указывайте не путь к папке,а путь к файлу))
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
