Добрый день, пара вопросов назрела: 1) обычно при создании каунтеров делают

Question

Добрый день, пара вопросов назрела: 1) обычно при создании каунтеров делают

аггрегированные интервалы (например, по дню). В моем случае без агрегации счетчики за несколько месяцев считаются быстро в КХ, а вот за год начинают притормаживать из-за количества евентов. Стоит ли делать агрегированние, скажем, по месяцам или есть другой способ?
2) у меня предполагается словарь на 100 мб чистых данных (не знаю пока во сколько КХ развернет это), но обновление элементов в нем может происходить до раза в несколько секунд. Имеет ли смысл его порезать на 10 или 100 словарей и обновлять только то, что нужно? Это вообще нормальный подход?

#backend #clickhouse #database #devops #programming #russian

0

26.09.2018

3 ответов

15 просмотров

Mikhail Filimonov

Со словарём - обновление 100Мб словаря раз в несколько секунд - звучит так себе. Если есть возможность НЕ делать этого (например разделив словари) то лучше этого не делать.

0

26.09.2018

Puma Вольфович

Словарь все таки подразумевает статичные данные, мне кажется вы хотите применить словари не там где их надо

0

26.09.2018

Mikhail Filimonov · Accepted Answer

Если событий много, а нужно их анализировать за широкий диапазон дат - то да, предварительная агрегация имеет смысл. В кликхаус это очень удобно делать с помощью Materialized View в таблицу с движком AggregatingMergeTree. Тогда всякие "неудобные" в агрегации метрики (типа количества уникальных пользователей) можно корректно суммировать.

184 похожих чатов

Добрый день, пара вопросов назрела: 1) обычно при создании каунтеров делают

3 ответов

Похожие вопросы