Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
@brotok может лучше проверить за 15 сек ? запустить любой скрипт и посмотреть , потом еще раз запустить и проверить.
каждый запуск скрипт равно 1 лог файл (если там миллионы строк,тогда может разделятся)
@zeor Ну чисто логически тут узкое место будет даже не БАС,а либо интернет канал либо канал + файловая система. Тут при желании можно посчитать зная скорость вашего жесткого диска и исходящего трафика оптимальное количество потоков. Обычный HDD это где-то 120mb максимум при условие, что он не под ОС. ПОТОКОВ=SpeedHDD/UPLooadSpeed. У меня к примеру 120/30*0.125=32 потока максимум.Но в реальности,сли не SSD то корость диска будет ниже.
