Добрый день, хотим хранить данные в таблице за 3 дня.

Question

ClickHouse не тормозит

Clir

Добрый день, хотим хранить данные в таблице за 3 дня.

Хорошая ли практика сделать почасовые партиции? и каким выражением правильно задать их?

#backend #clickhouse #database #devops #programming #russian

0

02.02.2021

13 ответов

7 просмотров

Clir Автор вопроса

Dmitry [Altinity] Titov
Пойдет PARTITION BY toStartOfHour(ts)

спасибо, на это и смотрел. листал историю чата, и часто упоминают, что в ЗК будет проблема при часовых партициях. в чем будет проблема? и будет ли она при хранении 3-х дней, потом удаление партици и заново.

0

02.02.2021

Slach [altinity]

сколько данных миллиадр строк в день?

0

02.02.2021

Slach [altinity]

Clir
спасибо, на это и смотрел. листал историю чата, и ...

в ZK проблема не в том что партиции почасовые а в том что партов может быть СЛИШКОМ много для синхронизации когда делают почасовые партиции а данные вставляют каждый раз "за последний день" и соответсвенно новые куски данных появляются в слишком большом кол-ве партиций... ZK не любит когда кол-во транзакций очень большое... но это крайние кейсы редко встречаемые

0

02.02.2021

Slach [altinity]

в зависимости от того сколько у вас данных и как вы их вставляете, проблем c ZK у вас быть не должно

0

02.02.2021

Dmitry [Altinity] Titov

Slach [altinity]
в ZK проблема не в том что партиции почасовые а в ...

На самом деле с zookeeper и часовые партиции видимо проблема в этом https://github.com/ClickHouse/ClickHouse/issues/3322

0

02.02.2021

Clir Автор вопроса

Slach [altinity]
сколько данных миллиадр строк в день?

от 30 до 100млн в сутки

0

02.02.2021

Dmitry [Altinity] Titov

Clir
от 30 до 100млн в сутки

Наверное тогда не стоит мучатся с часовыми PARTITION BY toDate(ts) ORDER BY (toStartOfHour(ts),...)

0

02.02.2021

Slach [altinity]

Clir
от 30 до 100млн в сутки

IMHO тогда особого смысла делать почасовые партиции нет если дата есть в ORDER BY тогда оно равномерно по mrk файлам засечки сделает, и спокойно их фильтровать будет

0

02.02.2021

Clir Автор вопроса

Dmitry [Altinity] Titov
Наверное тогда не стоит мучатся с часовыми PARTITI...

подневные партиции+в ключе сортировки на 1 месте?

0

02.02.2021

Dmitry [Altinity] Titov

Clir
подневные партиции+в ключе сортировки на 1 месте?

Да, ну точнее даже вопрос, вы как фильтруете по дате в запросе?

0

02.02.2021