Всем привет. Поставил кх, пытаюсь раскурить. Вытащил из logs api

Question

Всем привет. Поставил кх, пытаюсь раскурить. Вытащил из logs api

метрики хиты (7.2 Gb) и визиты (3.2 Gb). Записал в таблицы
ENGINE = MergeTree()
PARTITION BY _dt
ORDER BY clientID
SETTINGS index_granularity = 8192;
По железу сейчас 16 Гб оперативы. В дальнейшем хочу делать joinы этих таблиц и группировки, накладывая разные IF и работать с URL и загрузить в power bi. Хочется из исходных детальных таблиц готовить несколько сгруппированных(для BI), которые будут закрывать все потребности. Сталкиваюсь с out of memory , когда пытаюсь сгруппировать таблицу визитов 30млн строк (выкидываю clientid, visitid и другие коронки), считаю COUNT( DISTINCT )) по clientid и visitid. куда копать? что можете посоветовать? спасибо

#backend #clickhouse #database #devops #programming #russian

0

27.04.2022

4 ответов

19 просмотров

Alexander Dergilev Автор вопроса

Konstantin Ilchenko
настройте max_memory_usage max_bytes_before_exter...

Спасибо, Константин

0

27.04.2022

Alexander Dergilev Автор вопроса

Konstantin Ilchenko
настройте max_memory_usage max_bytes_before_exter...

Константин, а то что партиции по дням щас настроены в таблицах, это ок?

0

27.04.2022

Konstantin Ilchenko

Alexander Dergilev
Константин, а то что партиции по дням щас настроен...

Если планируете хранить годами с несколькими тысячами дат то лучше месячное партициониривание делать

0

27.04.2022

Konstantin Ilchenko · Accepted Answer

Konstantin Ilchenko

настройте max_memory_usage max_bytes_before_external_group_by max_bytes_before_external_sort и старайтесь не использовать count distinct, в 99.9% случаев достаточно uniq

0

27.04.2022

184 похожих чатов

Всем привет. Поставил кх, пытаюсь раскурить. Вытащил из logs api

4 ответов

Похожие вопросы