Всем привет У нас с @k0st1an сейчас есть следующая ситуация Есть кластер

Question

Всем привет У нас с @k0st1an сейчас есть следующая ситуация Есть кластер

с таблицей в которой 100 млрд. событий и каждый месяц приходит еще 30 млрд.

Ранее разбиение на партции происходило только на основе месяца
Сейчас возможно задать кастомный ключ партиционирования ( https://clickhouse.yandex/docs/ru/operations/table_engines/custom_partitioning_key/ )

Большая часть запросов у нас на 1-2 дня и 90% запросов попадает в рамки недели

Я не очень разбираюсь в деталях организации партиционирования в КХ, поэтому вопросы к сообществу:
1. Влияет ли изменение ключа партиционирования положительно в нашем случае на производительность (потому что сейчас заметна разница при выборке на 20 дней из месяца и всего месяца в сторону кратного прироста производительности на размерах всей месячной партиции)
2. Как выглядит сам переход изменения ключа партиционирования для старых данных? (т.е. неужно ли создавать таблицу новую рядом и туда все перегонять запросом или можно оставить старые партиции с ключом в месяц)
3. Есть ли какая-либо ощутимая деградация производительности//проблемы в случае мелкого партиционирования (к примеру мы выбрали ключ партициогнирования в 1 день и делаем выборку по 90 дням)

Спасибо большое!

#backend #clickhouse #database #devops #programming #russian

0

02.10.2018

2 ответов

19 просмотров

Puma Вольфович

а в чем смысл переезда ?

0

02.10.2018

Alex Krash · Accepted Answer

Мы как раз сейчас переводим похожую схему хранения - с месяца на дни. 1. Перевод чтения. Создаём таблицу с такой же структурой, но с партицированием по дням. Называем её table_new (старая - называется table_old, например). Считаем, что чтение из Distributed(cluster, schema, table_old), это меняем на Distributed(cluster, schema, table_merge), где table_merge имеет ENGINE Merge(schema, 'table_*')

184 похожих чатов

Всем привет У нас с @k0st1an сейчас есть следующая ситуация Есть кластер

2 ответов

Похожие вопросы