Обращение к большой БД

[AngelOfAncient]

Коллеги, может быть кто-то замечал?

Когда база становится 3-5-7-10 ГБ размером, она начинает жёстко подлагивать при обращении к ней. И обычное взятие RECORDS COUNT может секунд 8-10 длится.

Кто как с этим борется? (Кроме хранения данных в разных базах по хитро-мудрому методу подключения к удалённой БД)

[gomeapat]

Купи себе до хрена оперативы и в типах таблиц выбери memory
А так же почитай что значит тип memory и особенности его применения

[tet-vivi]

@AngelOfAncient что за база данных? встроенная в бас?

[A Former User]

@AngelOfAncient у меня были такие объемы, проблем не было. Я не то что количество получал, а я по 500к записей прогонял через БД для проверки на дубли. Но работал я с ней напрямую через node и строил индексы. По идее количество записей берется из метаданных и должно быть мгновенным.

[AngelOfAncient]

@UserTrue Буду гуглить если ты где-то на форме описывал, как работать с ней через Ноду. Там свой NPM есть для Mongo? Тогда надо понять, как туда стучаться, там какой-то дефалтный User\Password должен быть...

Про мгновенное... ХЗ. Может быть запись тормозила, или получение записи.
В общем, попытался спарсить Shutterstock. Сначала за ночь было 1500 страниц, на 2-3 ночь парсинга - уже 500 за то же время. Ни на что, кроме базы, грешить не что. "Усталость"скрипта и накопление каких-то внутренних ошибок? Сомнительно. Память не утекает, проц есть. Остаётся БД - после 1-2 млн. записей в ней.

@tet-vivi Да, обычная Mongo встроенная.

@gomeapat 64 Гб оперативы - хватит на "До хрена"? :)
Типы таблиц не нашёл сходу, где выбирать.
В "Редактировании ресурса" такой графы нет.

[A Former User]

@AngelOfAncient тут я немного дал инфы https://community.bablosoft.com/post/62783

[AngelOfAncient]

@UserTrue Спасибо, сейчас посмотрю.
А за счёт чего Нода работает с базой быстрее, чем сам BAS?

[A Former User]

@AngelOfAncient Просто из ноды есть полный набор возможностей по работе с БД, тоесть можно строить индексы и гораздо более сложные запросы