Все привет! подскажите плиз, получаю DB::Exception: Too many parts (393)

Question

Все привет! подскажите плиз, получаю DB::Exception: Too many parts (393)

ключ партиционирования PARTITION BY user_id % 100. Данные вставляются с интервалом 5 минут по 400-600 user_id. Интересует, какой лимит на парты в течении часа? подозреваю что лимит может быть привышен за 10 инсертов

#backend #clickhouse #database #devops #programming #russian

0

19.08.2020

4 ответов

16 просмотров

alex m⎊re

дефолтный лимит вроде 300 партов. На каждый инсерт у вас создается до сотни партов, итого в худшем случае вы упретесь в лимит через 15 минут :)

0

19.08.2020

Vladyslav Sakun

https://clickhouse.tech/docs/ru/operations/settings/merge-tree-settings/#max-parts-in-total

0

19.08.2020

Artem

Привет. PARTITION BY должен быть таким, чтобы за все время жизни проекта, скажем, 10 лет, партишнов создалось не более нескольких сотен, максимум — тысяч штук. Иначе будет деградация скорости в тысячи раз. По умолчанию предлагается использовать что-то вроде PARTITION BY toYYYYMM(date_time_field). То есть на каждый месяц новый партишн. Если партов будет больше тысячи, то будет все тормозить.

0

19.08.2020

Vladyslav Sakun · Accepted Answer

Vladyslav Sakun

https://clickhouse.tech/docs/ru/operations/settings/query-complexity/#max-partitions-per-insert-block

0

19.08.2020

184 похожих чатов

Все привет! подскажите плиз, получаю DB::Exception: Too many parts (393)

4 ответов

Похожие вопросы