По поводу AggregatingMT еще подскажите пожалуйста, мне нужно делать фильтрации

Question

ClickHouse не тормозит

Stranger

По поводу AggregatingMT еще подскажите пожалуйста, мне нужно делать фильтрации

по ~10 колонкам, получается в ORDER BY должны быть эти 10 колонок... или делать несколько табличек, как правильнее?

#backend #clickhouse #database #devops #programming #russian

0

24.10.2023

6 ответов

18 просмотров

Stranger Автор вопроса

Denny [Altinity]
ну так идея колоночных баз данных, что индексы не ...

просто в обычном MT насколько я помню не рекомендуется ключ сортировки растягивать на 10 колонок, но в AggregatingMT если колонка не в ключе сортировки - она должна быть AggregatingFunction

0

24.10.2023

Denny [Altinity]

Stranger
просто в обычном MT насколько я помню не рекоменду...

да, поэтому и есть ORDER BY и PRIMARY KEY, в PRIMARY KEY кладете 3 колонки, а в ORDER BY 33

0

24.10.2023

Stranger Автор вопроса

Denny [Altinity]
да, поэтому и есть ORDER BY и PRIMARY KEY, в PRIMA...

А, понял, спасибо!

0

24.10.2023

Руслан Бикмаев

Зависит от селектов, которые пойдут к данной таблице. Если к данной таблице подразумевается настройка на разные включенные фильтры дашборда, например на 1, 3, 4; 2, 5, 6 и 7, 8 столбцы, лучше будут работать матер. проекции к данной таблице, настроенные именно на эту сортировку. Сортировку лучше настраивать начиная со столбцов с минимальным количестом уникальных значений (мощностью), с последовательным увеличением. Этот момент проще самому посмотреть данных, сделав множественную сортировку в дибивере, или в датагрпе на небольшой выборке. Смысл сортировки в создании серий повторяющихся значений в столбце, по которым может работать бинарный алгоритм при фильтрации, агрегации, join, или кодирование в RLE, lz4. При сортировке по уникальному id для последующих "этажей" order by останутся подгруппы из одного значения, сортировать там будет нечего и последующие уровни сортировки станут бессмысленными. Тот же самый эффект происходит при множественной сортировке, при условии, что проход по данным происходит не последовательно, с первого по последний из отсортированных столбцов, а скажем, сразу на 8-й. Потом ещё по последовательности сортировки. В витринах часто встречаются однотипные, заранее просчитанные статусы из 2х - 5ти уникальных значений. По идее, если написать простейший скрипт, вычисляющей корреляцию между однотипными столбцами, оптимально выбранная последовательность сортировки должна работать. Эта идея реализована в Дизайнере Вертики, судя по служебным меткам, остающимся после его запуска. Пару лет назад возникала идея написать и потестить подобный скриптик, но не дошли руки, хватало других забот.

0

29.10.2023

Stranger Автор вопроса

Руслан Бикмаев
Зависит от селектов, которые пойдут к данной табли...

Благодарю за развернутый ответ!

0

29.10.2023

Denny [Altinity] · Accepted Answer

Denny [Altinity]

ну так идея колоночных баз данных, что индексы не нужны, все и так работает.

0

24.10.2023

184 похожих чатов

По поводу AggregatingMT еще подскажите пожалуйста, мне нужно делать фильтрации

6 ответов

Похожие вопросы