Много строк, виснет софт

[dmitr]

Если я подключаю базу с 500к строк, то софт начинает тупить и замирать при использовании этой базы.
Как можно оптимизировать работу с большими файлами?

[A Former User]

@dmitr Слишком мало информации 500к это не много для БД

[dmitr]

@UserTrue это не БД, я беру txt файл в нем например 500к строк емейлов.
Софт начинает эти емейлы брать и работать с ними, при этом не меняя исходный файл.
Если поставить 200 потоков, то софт фризит и в итоге зависает.

[A Former User]

@dmitr Вообще с большими данными лучше работать через БД, но я не уверен, что в вашем случае проблема в этом. БАС берет порции по 10К из файла и по идее не должно быть проблем, если не происходит удаления после использования.

[spacerange]

@UserTrue Я одно время пытался загружать текставик в 50к строк который не менялся и скрипт сильно зависал, решил тем что разбил на 5 текставиков по 10к, все же скорее всего для таких целей лучше использовать бд.

[A Former User]

@spacerange said in Много строк, виснет софт:

@UserTrue Я одно время пытался загружать текставик в 50к строк который не менялся и скрипт сильно зависал, решил тем что разбил на 5 текставиков по 10к, все же скорее всего просто для таких целей лучше использовать бд.

Лично я и использую БД для больших списков. Тут еще наверное зависит и от длины строк, строка может быть и 20 символов и 1000 ))