Всем привет, поделитесь пожалуйста опытом большого кол-ва партиций (10-15к) в

Question

Всем привет, поделитесь пожалуйста опытом большого кол-ва партиций (10-15к) в

одной таблице, какие проблемы с этим вытекают?

Выборки всегда планируются только по одной партиции, в одной партиции до 5кк записей, 2-3 поля, такое партиционирование планируется для удобства управления, в частности удаления старых партиций

#backend #clickhouse #database #devops #programming #russian

0

19.09.2023

3 ответов

18 просмотров

Деня

Да, delete на одной такой партиции (если делать одну на 5-10 миллиардов записей) не будет работать прям быстро. (Я легковесные делиты ещё не тестил по скорости) Но 10-15к партиций это через чур. Если у вас исторические данные - ставьте стандартное toYYYYMM() Если справочник - ну хотябы сегментирование небольшое по первичному ключу (может 4 , максимум 8 партиций) - т.е. получится по миллиарду или по пол миллиарда записей. Большое количество партиций создаст сразу 3 большие проблемы: - Инсерты будут дробиться на мелкие вставки и замедлятся, - сжатие пострадает и будет очень плохим по сравнению с большей одной партицией - с большим количеством партиций седекты очень сильно просядут по скорости (или ОЧЕНЬ сильно)

0

20.09.2023

Denis Gee Автор вопроса

Dmitry [Altinity] Titov
> такое партиционирование планируется для удобства...

@unamedrus @denya133 спасибо

0

20.09.2023

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

> такое партиционирование планируется для удобства управления По тенантам? Нет, не нужно так делать, используйте soft delete + мутации

0

20.09.2023

184 похожих чатов

Всем привет, поделитесь пожалуйста опытом большого кол-ва партиций (10-15к) в

3 ответов

Похожие вопросы