Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
@iabot вам надо максимально свернуть текст, затем получить его хэш и для каждой фразы хранить в бд ее хэш, а поиск производить по хэшу. Гуглите алгоритмы сравнения текста, задача не самая тривиальная, если делать по уму.
Или можно использовать какой-нибудь готовый движок для полнотекстового поиска
@yteyyy Укажи для какого конкретно урл будет установлен заголовок. Не знаю почему но вот в примере выше все работает без принудительного указания для какого урл, а в своем проекте когда я добавил экшн установить заголовок то передается null, только после того как добавил для какого урла использовать этот заголовок все заработало.
@bronshik Думаю можно сделать проще, после нажатия на эту клавишу, выделенный текст будет обрамлён соответствующим способом, так же как тут, на форуме:
