Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
Также интересует возможность массовой заливки дистрибутива БАСа на сервера с возможностью сразу автоматической установки после заливки.
В каком направлении двигаться?
Я бы смотрел в сторону chef или чего-то подобного.
БАС можно управлять через консоль.
Запускать с параметром --silent, в соседней теме вам написали как это сделать.
Закрывать просто убивая процесс.
Установка - скопировать на сервер собранный скрипт.
Спасибо примерно по такой схеме уже начали работу)
