Обращение к большой БД



  • Коллеги, может быть кто-то замечал?

    Когда база становится 3-5-7-10 ГБ размером, она начинает жёстко подлагивать при обращении к ней. И обычное взятие RECORDS COUNT может секунд 8-10 длится.

    Кто как с этим борется? (Кроме хранения данных в разных базах по хитро-мудрому методу подключения к удалённой БД)



  • Купи себе до хрена оперативы и в типах таблиц выбери memory
    А так же почитай что значит тип memory и особенности его применения



  • @AngelOfAncient что за база данных? встроенная в бас?



  • @AngelOfAncient у меня были такие объемы, проблем не было. Я не то что количество получал, а я по 500к записей прогонял через БД для проверки на дубли. Но работал я с ней напрямую через node и строил индексы. По идее количество записей берется из метаданных и должно быть мгновенным.



  • @UserTrue Буду гуглить если ты где-то на форме описывал, как работать с ней через Ноду. Там свой NPM есть для Mongo? Тогда надо понять, как туда стучаться, там какой-то дефалтный User\Password должен быть...

    Про мгновенное... ХЗ. Может быть запись тормозила, или получение записи.
    В общем, попытался спарсить Shutterstock. Сначала за ночь было 1500 страниц, на 2-3 ночь парсинга - уже 500 за то же время. Ни на что, кроме базы, грешить не что. "Усталость"скрипта и накопление каких-то внутренних ошибок? Сомнительно. Память не утекает, проц есть. Остаётся БД - после 1-2 млн. записей в ней.

    @tet-vivi Да, обычная Mongo встроенная.

    @gomeapat 64 Гб оперативы - хватит на "До хрена"? :)
    Типы таблиц не нашёл сходу, где выбирать.
    В "Редактировании ресурса" такой графы нет.



  • @AngelOfAncient тут я немного дал инфы https://community.bablosoft.com/post/62783



  • @UserTrue Спасибо, сейчас посмотрю.
    А за счёт чего Нода работает с базой быстрее, чем сам BAS?



  • @AngelOfAncient Просто из ноды есть полный набор возможностей по работе с БД, тоесть можно строить индексы и гораздо более сложные запросы


Log in to reply