Работа с базой при большом объёме данных

[Lex]

Привет коллеги!
Кто сталкивался с такой проблемой.
Может возможно как то на файлы переделать, или какое-то альтернативное решение кто подскажет?

Суть такова:
Есть порядка 5-ти таблиц, в каждой 5-10 колонок.
Идёт переборка сравнение данных из разных таблиц, объём данных будет в каждой таблице 1 млн. и более записей, и работать будет в многопоток.
Но в таком случае при обращениях к базе и многопотоке, всё зависает....

[Alex84]

Тут даже не давно вроде похожая Тема была, да и не одна походу :) Поиск по Форуму в помощь.

[Fox]

@Lex said in Работа с базой при большом объёме данных:

Привет коллеги!
Кто сталкивался с такой проблемой.
Может возможно как то на файлы переделать, или какое-то альтернативное решение кто подскажет?

Суть такова:
Есть порядка 5-ти таблиц, в каждой 5-10 колонок.
Идёт переборка сравнение данных из разных таблиц, объём данных будет в каждой таблице 1 млн. и более записей, и работать будет в многопоток.
Но в таком случае при обращениях к базе и многопотоке, всё зависает....

Поставьте минимальный сон перед обращениями к базе, зависаний не будет

[Lex]

@Fox тогда скорость вообще упадёт, между запросами к базе, есть куча других действий сравнений и тд. и ещё get-запросы и обработки..

*с тем расчётом что минимальный сон можно поставить 1 сек.

[bigorat]

@Lex почему минимум 1 с? В действии "Выполнить код" вставь sleep(500)! и будет полсекунды, 500 можно по желанию поменять на нужный вариант :)

[Lex]

@bigorat ну на сколько известно, сколько не ставь, минимум всё равно будет 1 сек. или ближе 1 сек.

[Fox]

@Lex said in Работа с базой при большом объёме данных:

@Fox тогда скорость вообще упадёт, между запросами к базе, есть куча других действий сравнений и тд. и ещё get-запросы и обработки..

*с тем расчётом что минимальный сон можно поставить 1 сек.

Вы поставьте и проверьте. Потом убирайте постепенно, может будет необходимо только в 1 месте оставить сон, в каком нибудь цикле.

[Lex]

@Fox возможно и сработает, но вопрос ещё в том, если данных много в базе, ставь-не ставь задержки всё начнёт лагать 100%

[Fox]

@Lex said in Работа с базой при большом объёме данных:

@Fox возможно и сработает, но вопрос ещё в том, если данных много в базе, ставь-не ставь задержки всё начнёт лагать 100%

Посмотрите в сторону других баз, возможно выполнять необходимые задачи прямо в базе, посредством sql запроса