Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
Имеется такой рабочий код:
"use strict";
var page = require('webpage').create(),
server = 'http://spys.one/en/free-proxy-list/',
data = 'xpp=5&xf1=0&xf2=0&xf4=0&xf5=0';
page.open(server, 'post', data, function (status) {
if (status !== 'success') {
console.log('Unable to post!');
} else {
console.log(page.plainText);
}
phantom.exit();
});
Пытался его и node.js и «выполнить код» заюзать, но везде ошибки выдает...
Как быть?
