Всем привет Конечно немного не туда вопрос: какую базу данных использовать

Question

Всем привет Конечно немного не туда вопрос: какую базу данных использовать

под систему аналитики? Как они вообще устроены? (щас опишу)

Каждый день +50-100 тысяч записей в таблицу
и доступ к данным должен быть постоянным, потому что бывают сложные выборки, затрагивающие очень старые данные

Сейчас все на пг крутится и самый сложный запрос на таблице с 7 млн данных отрабатывает за 40 секунд; оптимизировала как могла; Спасает только кеширование раз в 3 часа по крону самых сложных запросов

в итоге сейчас думаю сбежать на in-memory бд

внутренняя интуиция подсказывает, что я возможно что-то упускаю и при таком небольшом количестве данных ломаться не должно или все-таки это много данных?

#backend #devops #pgsql #programming #russian

0

05.04.2020

6 ответов

9 просмотров

Dima

как вариант postgres + timescaledb, наверно

0

05.04.2020

lnuynxa

7 лям вообще мало довольно

0

05.04.2020

Dima

order не используете в запросе на 40 секунд случайно?

0

05.04.2020

Yaroslav Schekin

> Сейчас все на пг крутится и самый сложный запрос на таблице с 7 млн данных отрабатывает за 40 секунд; А какой это размер в гигабайтах, ради любопытства? > оптимизировала как могла; Спасает только кеширование раз в 3 часа по крону самых сложных запросов А индексы подходящие есть? Вообще, показали бы всё относящееся к делу здесь как-нибудь. > и при таком небольшом количестве данных ломаться не должно или все-таки это много данных? На первый взгляд так кажется, да (но данные не измеряются в rows, поэтому см. вопрос выше). ;)

0

05.04.2020

Владимир

7кк записей и вас что то смущает?да это вообще ни о чем. У меня на обычной машине около 1кк-записей, все летает практически на калькуляторе.

0

05.04.2020

Mentat · Accepted Answer

Mentat

Колоночные. Clickhouse например

0

05.04.2020

172 похожих чатов

Всем привет Конечно немного не туда вопрос: какую базу данных использовать

6 ответов

Похожие вопросы