Работа с базой при большом объёме данных



  • Привет коллеги!
    Кто сталкивался с такой проблемой.
    Может возможно как то на файлы переделать, или какое-то альтернативное решение кто подскажет?

    Суть такова:
    Есть порядка 5-ти таблиц, в каждой 5-10 колонок.
    Идёт переборка сравнение данных из разных таблиц, объём данных будет в каждой таблице 1 млн. и более записей, и работать будет в многопоток.
    Но в таком случае при обращениях к базе и многопотоке, всё зависает....



  • Тут даже не давно вроде похожая Тема была, да и не одна походу :) Поиск по Форуму в помощь.



  • @Lex said in Работа с базой при большом объёме данных:

    Привет коллеги!
    Кто сталкивался с такой проблемой.
    Может возможно как то на файлы переделать, или какое-то альтернативное решение кто подскажет?

    Суть такова:
    Есть порядка 5-ти таблиц, в каждой 5-10 колонок.
    Идёт переборка сравнение данных из разных таблиц, объём данных будет в каждой таблице 1 млн. и более записей, и работать будет в многопоток.
    Но в таком случае при обращениях к базе и многопотоке, всё зависает....

    Поставьте минимальный сон перед обращениями к базе, зависаний не будет



  • @Fox тогда скорость вообще упадёт, между запросами к базе, есть куча других действий сравнений и тд. и ещё get-запросы и обработки..

    *с тем расчётом что минимальный сон можно поставить 1 сек.



  • @Lex почему минимум 1 с? В действии "Выполнить код" вставь sleep(500)! и будет полсекунды, 500 можно по желанию поменять на нужный вариант :)



  • @bigorat ну на сколько известно, сколько не ставь, минимум всё равно будет 1 сек. или ближе 1 сек.



  • @Lex said in Работа с базой при большом объёме данных:

    @Fox тогда скорость вообще упадёт, между запросами к базе, есть куча других действий сравнений и тд. и ещё get-запросы и обработки..

    *с тем расчётом что минимальный сон можно поставить 1 сек.

    Вы поставьте и проверьте. Потом убирайте постепенно, может будет необходимо только в 1 месте оставить сон, в каком нибудь цикле.



  • @Fox возможно и сработает, но вопрос ещё в том, если данных много в базе, ставь-не ставь задержки всё начнёт лагать 100%



  • @Lex said in Работа с базой при большом объёме данных:

    @Fox возможно и сработает, но вопрос ещё в том, если данных много в базе, ставь-не ставь задержки всё начнёт лагать 100%

    Посмотрите в сторону других баз, возможно выполнять необходимые задачи прямо в базе, посредством sql запроса


Log in to reply