Вем привет. Подскажите, по какой причине могут не схлопываться данные

Question

Вем привет. Подскажите, по какой причине могут не схлопываться данные

в CollapsingMergeTree при выполнении оптимизации с FINAL?
Прочёл вот это обсуждение на гитхабе, и вроде как получается, что должно всё схлопываться при выполнении необходимых условий, но этого не происходит.

#backend #clickhouse #database #devops #programming #russian

0

26.05.2021

11 ответов

21 просмотр

Rodion Baskakov Автор вопроса

【D】【J】
данные в разных партициях например не будут схлопы...

Ошибок в логах нет… При выполнении оптимизации куча записей вида 2021.05.26 18:21:21.419680 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Trace> MergeTreeSequentialSource: Reading 123 marks from part all_1_335984_37329, total 994227 rows starting from the beginning of the part 2021.05.26 18:21:21.420648 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Trace> MergeTreeSequentialSource: Reading 2 marks from part all_335985_335985_0, total 1 rows starting from the beginning of the part 2021.05.26 18:21:21.860111 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Debug> db.data_meter_temperature (MergerMutator): Merge sorted 994228 rows, containing 8 columns (8 merged, 0 gathered) in 0.440586064 sec., 2256603.3772688736 rows/sec., 159.26 MiB/sec. 2021.05.26 18:21:21.866452 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Trace> db.data_meter_temperature: Renaming temporary part tmp_merge_all_1_335985_37330 to all_1_335985_37330. 2021.05.26 18:21:21.866604 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Trace> db.data_meter_temperature (MergerMutator): Merged 2 parts: from all_1_335984_37329 to all_335985_335985_0 2021.05.26 18:21:21.866630 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Debug> MemoryTracker: Peak memory usage: 28.92 MiB. 2021.05.26 18:21:21.866761 [ 89 ] {d340663c-b859-447c-8ab4-a2cdf39e7431} <Debug> MemoryTracker: Peak memory usage (for query): 0.00 B.

0

26.05.2021

Rodion Baskakov Автор вопроса

【D】【J】
данные в разных партициях например не будут схлопы...

Партиционирования на таблице нет

0

26.05.2021

【D】【J】

Rodion Baskakov
Ошибок в логах нет… При выполнении оптимизации куч...

должны схлопнутся. может у вас сразу вставка идет параллельно?

0

26.05.2021