Списки и производительность

Поддержка
  • Добрый день, есть список в котором 1000000 строк из файла. Его нужно обрабатывать за минимальное время. Убрал все не нужные действия и условия. Разделил список на 100 частей по 10 к и добился того что 1000 строк обрабатывает в секунду путтем того что через каждую 1000 итераций сон на 1 милисекунду. Быстрее никак, ибо подвисает и сам бас во время работы кушает 20-30% процессора. Если подключать потоки то число обработанных строк остается таким же но делиться на количество потоков. Если запустить Bas 2 раза то производительность в 2 раза больше. Как быть в данном случае? делить список еще?

  • @warenuk как вариант обрабатывать их в nodejs она запускается в отдельном процессе и сама по себе работает гораздо бытсрей, чем js движок который встроен в BAS. Только через файл в нее и из нее данные гоняйте, тк бас через json это делает и на больших данных это займет время...

  • @UserTrue Еще можно через mysql, скачать базу локально, запихать туда список. Модуль для работы есть с ней.

  • Спасибо, буду пробовать

  • @FastSpace said in Списки и производительность:

    @UserTrue Еще можно через mysql, скачать базу локально, запихать туда список. Модуль для работы есть с ней.

    Да это понятно, я бд тут уже перестал предлагать, большинство их боится )))

  • @UserTrue Как то давно работал с ними. Не лучшее впечатление осталось (хотя соглашусь с тем что проблема больше в руках)

  • @FastSpace В общем пришлось разобраться с sql. Все настроил, но результат опечалил, в 5-6 раз медленнее списка который деленный.

  • 0 Votes
    6 Posts
    575 Views
  • 0 Votes
    7 Posts
    891 Views
  • 0 Votes
    2 Posts
    470 Views
  • MLA и порты

    Поддержка
    1 Votes
    6 Posts
    1265 Views
  • 1 Votes
    13 Posts
    3469 Views