PARTITION BY toYYYYMMDD(date) В результате у меня количество parts увеличилось в несколько раз, а операции merge стали очень тяжелыми - по 400-600 секунд каждая, хотя раньше было полно легких. Если я переделаю PARTITION BY date => PARTITION BY toYYYYMMDD(date) => PARTITION BY date => PARTITION BY toYYMMDD(date) то parts станет меньше или нет? И можно понять как работают мержи (не алгоритмы склейки, а как влияет размер ключа на количество parts, как часто выполняются операции merge etc) - где-либо кроме исходников и документации тут? https://clickhouse.com/docs/ru/engines/table-engines/mergetree-family/mergetree/#mergetree-data-storage
сначала ищем проблему, потом решение PARTITION BY date => PARTITION BY toYYYYMMDD(date) -- это одно и тоже, вы себе в ногу стреляете
>Если я переделаю PARTITION BY date => PARTITION BY toYYYYMMDD(date) => PARTITION BY date => PARTITION BY toYYMMDD(date) не надо ничего переделывать сломя голову
>И можно понять как работают мержи (не алгоритмы склейки, а как влияет размер ключа на количество parts, как часто выполняются операции merge не надо. Я например не понимаю, и мне это не мешает
насколько я понял читая все ваши сообщения, а толком вы вообще ничего не сказали, у вас проблема в том что у вас мириады мелких инсертов и очень медленный диск. 1 Сколько инсертов вы делаете в секунду? 2 Сколько в среднем грубо округлив вставляет один инсерт? 3 Что такое медленный диск ? 4 Сколько полей в таблице примерно в десятках, сотнях?
Обсуждают сегодня