Всем привет. никто не мерил, насколько сильно замедляются вставки при

Question

Всем привет. никто не мерил, насколько сильно замедляются вставки при

добавлении мат.вьюх на движке ReplicatedAggregatingMergeTree на таблицы c движком MergeTree? есть подозрение, что мержи настолько затратны, что вставка очень сильно проседает.

#backend #clickhouse #database #devops #programming #russian

0

29.01.2018

2 ответов

10 просмотров

Kirill Shvakov

Считайте что это, в лучшем случае, +1 инсерт, в худшем бывает что в запросе который "материализует" еще может содержаться какая-либо логика агрегации. У нас, например, 16 материализованых представлений на таблицу сырых данных висит и получается если мы вставляем 1000 записей, то, на самом деле, в КХ пишется 16000. Единственных "лайфхак" который мы используем это то, что наши вьюхи SummingMergeTree и они уже "досчитывают" данные в фоне и мы не агрегируем их перед вставкой, иначе бы "ушли" по памяти

0

30.01.2018

Mikhail Petrov · Accepted Answer

Недавно поймали баг с неправильной оптимизацией вставки во вьюшку при заливке в реплицируемую таблицу больших файлов - гигабайты в сжатом виде. Без этого бага влияние, вроде бы, незначительно, но очевидно зависит от размера итоговых данных во вьюшках.

184 похожих чатов

Всем привет. никто не мерил, насколько сильно замедляются вставки при

2 ответов

Похожие вопросы