Здравствуйте!
Вчера написал парсер для одного сайта, чтобы собирал телефоны.
Запускаю в 5-7 потоков.
Минут 10 работает на максимальной скорости, а потом резко замедляется где-то в 2 раза...
Т.е. образно за 1 минуту собирало 100 контактов, а через 10 минут собирает уже 50 контактов за минуту...
Такое ощущение, что может память чем-то забивается в самом BAS, потому что как только я останавливаю и сразу перезапускаю BAS, то опять собирает с такой же большой скоростью... Т.е. тут точно не проблема в сайте с которого делаю сбор данных, а похоже в самом BAS.. Уже и не знаю, что сделать, чтобы программа делала парсинг непрерывно и на максимальной скорости...
Дополнительно заметил, что если на старте сразу после запуска расходуется где-то 70% процессора, то минут через 10 уже стабильно 100%... Хотя скорость парсинга остается такой же как и на старте... может кто-то знает от чего так происходит?(
Если кто-то может знает как улучшить ситуацию, напишите пожалуйста , заранее спасибо!
Здравствуйте, прикрепите, пожалуйста, тестовый проект сюда или в ЛС форума, попробую повторить вашу проблему
@brotok said in Через 10-15 минут BAS начинает работать в 2 раза медленнее (запускаю парсинг сайтов), как решить проблему?:
Дополнительно заметил, что если на старте сразу после запуска расходуется где-то 70% процессора, то минут через 10 уже стабильно 100%... Хотя скорость парсинга остается такой же как и на старте... может кто-то знает от чего так происходит?(
Возможно вы как-то обрабатываете полученные данные, и возможно ваш алгоритм не оптимален, поэтому с увеличением общего количества данных скорость падает, а нагрузка растет.
не используй временные профили - используй постоянные
отключи компоненты
сохраняй кеш команда --disk-cache-size=0
пиши профили на ram диск. а можешь и весь BAS туда поставить
вот все вот это подняло кпд и скорость моей работы в 2,5 раза. с сохранение и работа с тем же кешем уменьшило трафф в 6 раз. может и тебе поможет
