Много строк, виснет софт



  • Если я подключаю базу с 500к строк, то софт начинает тупить и замирать при использовании этой базы.
    Как можно оптимизировать работу с большими файлами?



  • @dmitr Слишком мало информации 500к это не много для БД



  • @UserTrue это не БД, я беру txt файл в нем например 500к строк емейлов.
    Софт начинает эти емейлы брать и работать с ними, при этом не меняя исходный файл.
    Если поставить 200 потоков, то софт фризит и в итоге зависает.



  • @dmitr Вообще с большими данными лучше работать через БД, но я не уверен, что в вашем случае проблема в этом. БАС берет порции по 10К из файла и по идее не должно быть проблем, если не происходит удаления после использования.



  • @UserTrue Я одно время пытался загружать текставик в 50к строк который не менялся и скрипт сильно зависал, решил тем что разбил на 5 текставиков по 10к, все же скорее всего для таких целей лучше использовать бд.



  • @spacerange said in Много строк, виснет софт:

    @UserTrue Я одно время пытался загружать текставик в 50к строк который не менялся и скрипт сильно зависал, решил тем что разбил на 5 текставиков по 10к, все же скорее всего просто для таких целей лучше использовать бд.

    Лично я и использую БД для больших списков. Тут еще наверное зависит и от длины строк, строка может быть и 20 символов и 1000 ))


Log in to reply
 

  • 32
  • 5
  • 6
  • 2
  • 3
  • 3
  • 7
  • 13