170 похожих чатов

Добрый день, подскажите пожалуйста каким образом делают аналитику когда счет

количества данных в БД идет уже на миллионы?

Есть приложение, которое, можно сказать, считает клики - в день этих кликов может быть до миллиона. Технически клик в БД имеет много различных колонок с данными.
По всем этим данным нужно делать аггрегации, фильтрации, считать количество кликов, количество уникальных кликов и еще с десяток всяких значений по формулам по запросу пользователя.
Если пользователь хочет посмотреть данные сразу за месяц или несколько, то записей по идее может быть пару десятков миллионов.
Как при этих условиях делать real-time аналитику? Если тупо считать в postgres со всеми возможными индексами и тд, то получается довольно медленно, потому что если, например, юзер выбирает сортировку по како-нибудь агрегированному параметру, то базе нужно будет сагрегировать тупо все записи и отсортировать их, пагинация тут не поможет. Materialized view как тут применить я тоже не могу прикинуть, потому что всяких агрегаций и фильтраций слишком много, под каждую отдельно materialized view не сделаешь.

Подскажите советом, как в таких случаях обычно делают? Может я упускаю какую-нибудь крутую возможность psql или что-то еще?

1 ответов

18 просмотров

clickhouse - почитай, посмотри

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта