нужны операции с манипулированием отдельными партициями и не планируется много параллельных вставок? Беспокоит то, что образуются большие файлы с колонками в партах (70Гб UInt64 колонки, например). Может ли в какой-то момент это упереться в оперативную память? Или кликхаус вставляет в такие парты без использования оперативки порядка размера файла?
1 нормально. 2 не может. 3 без использования 4 Парты иммьютабл (это самое важно в понимании). каждый инсерт создает новый парт, ничего не дописывается, затем когда-нибудь несколько партов слияются, это называется мерж.
Спасибо, теперь понятно почему там один самый большой парт и много маленьких хвостов, вплоть до сотен мегабайт. Тогда вопрос про слияние - может ли оно как то зафейлиться / очень долго выполняться из-за большого размера партов? Требуется ли в момент слияния 2x памяти на диске от размера партов?
1) не может 2) может 3) требуется в system.merges это видно и есть все ответы на ваши вопр.
Есть ли какие то рекомендации по таким непартицированным таблицам в плане уменьшения максимального размера парта? Что это за настройка - не нашел в system.settings like '%part%'
1 ) https://clickhouse.tech/docs/ru/operations/settings/merge-tree-settings/#merge-tree-settings 2 ) https://clickhouse.tech/docs/ru/operations/settings/merge-tree-settings/#max-bytes-to-merge-at-max-space-in-pool это другая секция / файл настроек, другая system таблица если партов станет 300 то сами понимаете. https://clickhouse.tech/docs/ru/operations/settings/merge-tree-settings/#parts-to-throw-insert
Обсуждают сегодня