Всем привет. А как грамотно настроить индексы на MergeTree? Выглядит

Question

Всем привет. А как грамотно настроить индексы на MergeTree? Выглядит

как высокоточная магическая настройка. Почему-то запросы только дольше становятся 😂

Я накидываю set(0) / minmax, а потом делаю OPTIMIZE FINAL. У меня ~160млн строк. Не очень понимаю как настраивать GRANULARITY.

#backend #clickhouse #database #devops #programming #russian

0

15.09.2022

8 ответов

22 просмотра

ivan

как и со всеми индексами, всё начинается с определения того, какие запросы надо этим индексом покрыть

0

15.09.2022

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
потому что set индекс вам не нужен, это совсем не ...

Спасибо. Есть уникальные хэши каждой записи. По ним хочется искать быстро (== / IN) (тут я думал сет подойдёт) Есть несколько колонок UInt8 с 0/1, по ним хочется быстро делать фильтр Есть поле array(uint), хочется быстро находить все записи массивы которых содержат значение Есть 3 колонки в связке int - 0/1, число, которое возрастает каждую строчку, и набор уникальных чисел - по ним хочется делать фильтр (всегда будут идти в связке) Есть колонка с Datetime - по ней хочется сортировать :) Всего 3 таблицы, записи добавляются раз в 5 секунд. Данные за несколько лет, как и говорил около 160млн.

0

15.09.2022

Denny [Altinity]

Andrey Tvorozhkov
Спасибо. Есть уникальные хэши каждой записи. По ...

такое в КХ не сделать КХ как бы совсем не для этого

0

15.09.2022

Denny [Altinity]

ну так в КХ есть партиции, это тоже самое. т.е. в изначальном вопросе вы не указываете что ищите в диапазоне по времени

0

15.09.2022

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
ну так в КХ есть партиции, это тоже самое. т.е. в ...

А индексы работают в рамках патриции? Или чтобы отсеить ненужные партиции?

0

15.09.2022

Denny [Altinity]

да, partition pruning работает самым первым, он вообще в памяти работает на метаинформации о партах, до обращения к диску, к партам, к индексам тут надо только понять что условия надо накладывать на колонки которые учавствуют в выражении партиционирования minmax не создается автоматически на все колонки как друиде а то тут каждый второй пишет partition by toYYYYMM(xxx) и потом where toDate(ttt) = today() и удивляется зачем КХ читает всю таблицу

0

15.09.2022

Andrey Tvorozhkov Автор вопроса

Denny [Altinity]
да, partition pruning работает самым первым, он во...

Понял, спасибо

0

16.09.2022

Denny [Altinity] · Accepted Answer

Denny [Altinity]

потому что set индекс вам не нужен, это совсем не то что вы думаете. сформулируйте задачу, опишите как хранятся данные и тогда можно сказать какой индекс подходит

0

15.09.2022

184 похожих чатов

Всем привет. А как грамотно настроить индексы на MergeTree? Выглядит

8 ответов

Похожие вопросы