А я заметил, что эта ошибка если не хватает ресурсов сервера, та как вылазит когда увеличиваешь колчиество потоков. В связи с этим вопрос - может где-то можно подкорректировать, чтобы не выбивало такого а ожидало дольше...
Пробовал про парсить только текст без картинок. Спарсилось только 21 блок (то есть, ошибка вылетает +- в том же месте). В сумме вышло 26к текста включая пробелы и ссылки