В локальной базе БАС оч много строк - когда могут начаться проблемы?

[kuzkuz]

Привет. Хочу предупредить проблему, а не словить в одночасье.
Одна из таблиц уже имеет > 1млн строк. 10 столбцов.
Когда могут когда могут начаться проблемы?

ps пишу туда все данные. там много повторяющихся строк.
не плохо бы писать только уникальные. но это сильно нагрузит скрипт как я понимаю.

[ediczr]

@kuzkuz

В чем проблема работаю с более 8 миллионами строк данных 7 колонок есть повторяющие данные причем много (база хлам для сортировки). Падает скорость обработки данных и все. Если оперативной памяти мало для хеширования данных, то жоп... и время занимает много для сортировки. Работаешь с блоками, разбивай на блоки по запросам и работаешь дальше. Это модуль базы MongoDB, а не сам BAS, кто разрабатывал базу MongoDB знаю свое дело. А так читай документацию по работе с базами данных.

[serrgo]

Ребята вопрос, как вы обходите ограничение на количество строк в базе, если она используется в качестве ресурса в BAS. Какое конкретно ограничение не помню, но после этого опять пришлось перейти на файлы

[ediczr]

@serrgo

Вот последний проект который выполнял по сбору данных 5 миллионов строк. Какие ограничения для работы.
Не понимаю в чем проблема.

[serrgo]

@ediczr Я не про размер базы - это понятно что она безразмерная, я про использование базы в качестве Ресурса. Я не помню какие конкретно там ограничения были, но они были, по количеству строк

[kuzkuz]

@ediczr said in В локальной базе БАС оч много строк - когда могут начаться проблемы?:

@kuzkuz

В чем проблема работаю с более 8 миллионами строк данных 7 колонок есть повторяющие данные причем много (база хлам для сортировки). Падает скорость обработки данных и все. Если оперативной памяти мало для хеширования данных, то жоп... и время занимает много для сортировки. Работаешь с блоками, разбивай на блоки по запросам и работаешь дальше. Это модуль базы MongoDB, а не сам BAS, кто разрабатывал базу MongoDB знаю свое дело. А так читай документацию по работе с базами данных.

не знал что можно делать запросы в бас к ней блоками... почитаю
у меня работает в 2 копии. и одна из них вываливается после того как зайдешь в базу и откорретируешь одну из строк. думал может быть причина как раз в этом.