Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
Оно не может быть прям 10 сек, но всё равно без проверки +-3 секунды. Лечится копированием кода установки прокси и удалением оттуда пауз - там есть 2 sleep по 1 секунде. Их разработчик зачем то добавил, может есть причина
Вообщем проблема решилась сама собой, после включения/выключения компа, память сама очистилась за ночь) Я до этого всегда на вдс-ках запускал скрипты и не замечал что бас столько места занимает
