под систему аналитики? Как они вообще устроены? (щас опишу)
Каждый день +50-100 тысяч записей в таблицу
и доступ к данным должен быть постоянным, потому что бывают сложные выборки, затрагивающие очень старые данные
Сейчас все на пг крутится и самый сложный запрос на таблице с 7 млн данных отрабатывает за 40 секунд; оптимизировала как могла; Спасает только кеширование раз в 3 часа по крону самых сложных запросов
в итоге сейчас думаю сбежать на in-memory бд
внутренняя интуиция подсказывает, что я возможно что-то упускаю и при таком небольшом количестве данных ломаться не должно или все-таки это много данных?
Колоночные. Clickhouse например
как вариант postgres + timescaledb, наверно
7 лям вообще мало довольно
order не используете в запросе на 40 секунд случайно?
> Сейчас все на пг крутится и самый сложный запрос на таблице с 7 млн данных отрабатывает за 40 секунд; А какой это размер в гигабайтах, ради любопытства? > оптимизировала как могла; Спасает только кеширование раз в 3 часа по крону самых сложных запросов А индексы подходящие есть? Вообще, показали бы всё относящееся к делу здесь как-нибудь. > и при таком небольшом количестве данных ломаться не должно или все-таки это много данных? На первый взгляд так кажется, да (но данные не измеряются в rows, поэтому см. вопрос выше). ;)
7кк записей и вас что то смущает?да это вообще ни о чем. У меня на обычной машине около 1кк-записей, все летает практически на калькуляторе.
Обсуждают сегодня