Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
@spark911 Не рукаптча2, а РЕКАПТЧА2.
Чтобы ускорить не нужно ждать когда она будет решена. Достаточно просто вставить готовый токен в скрытые поле. Для этого на стороне запусти решалку каптчей и складывай в текстовик (это простой вариант), а другие потоки пусть черпают оттуда ответ. Валидность ответа всего 2 минуты.
Можно заморочиться и запилить базу данных каптчей с таймером 2 минуты и самоочистку.
