Коллеги, может быть кто-то замечал?
Когда база становится 3-5-7-10 ГБ размером, она начинает жёстко подлагивать при обращении к ней. И обычное взятие RECORDS COUNT может секунд 8-10 длится.
Кто как с этим борется? (Кроме хранения данных в разных базах по хитро-мудрому методу подключения к удалённой БД)
@AngelOfAncient что за база данных? встроенная в бас?
@AngelOfAncient у меня были такие объемы, проблем не было. Я не то что количество получал, а я по 500к записей прогонял через БД для проверки на дубли. Но работал я с ней напрямую через node и строил индексы. По идее количество записей берется из метаданных и должно быть мгновенным.
@UserTrue Буду гуглить если ты где-то на форме описывал, как работать с ней через Ноду. Там свой NPM есть для Mongo? Тогда надо понять, как туда стучаться, там какой-то дефалтный User\Password должен быть...
Про мгновенное... ХЗ. Может быть запись тормозила, или получение записи.
В общем, попытался спарсить Shutterstock. Сначала за ночь было 1500 страниц, на 2-3 ночь парсинга - уже 500 за то же время. Ни на что, кроме базы, грешить не что. "Усталость"скрипта и накопление каких-то внутренних ошибок? Сомнительно. Память не утекает, проц есть. Остаётся БД - после 1-2 млн. записей в ней.
@tet-vivi Да, обычная Mongo встроенная.
@gomeapat 64 Гб оперативы - хватит на "До хрена"? :)
Типы таблиц не нашёл сходу, где выбирать.
В "Редактировании ресурса" такой графы нет.
@AngelOfAncient тут я немного дал инфы https://community.bablosoft.com/post/62783
@AngelOfAncient Просто из ноды есть полный набор возможностей по работе с БД, тоесть можно строить индексы и гораздо более сложные запросы
