Всем привет. Помогите, пожалуйста, с теорией: 1. При одинаковых запросах и наборах

Question

Всем привет. Помогите, пожалуйста, с теорией: 1. При одинаковых запросах и наборах

полей в чём принципиальная разница между схемой MV TO с таблицей и отдельной MV с аналогичным движком?
2. Если на одну и ту же таблицу навесить несколько MV с одинаковым запросом, то данные в них должны быть одинаковые или есть какие-то нюансы?
3. Влияет ли как-то ключ сортировки\первичный ключ на скорость схлопывания данных в CollapsingMergeTree?

#backend #clickhouse #database #devops #programming #russian

0

14.12.2020

8 ответов

7 просмотров

Slach [altinity]

1) схема с отдельной таблицей удобнее чем с .inner, потому что более понятная и проще отдельно эту внешную таблицу ALTER делать 2) если запросы действительно одинаковые в MV, но могут отличаться целевые движки таблиц и данные по времени вставляются РАЗДЕЛЬНО и РАЗДЕЛЬНО идут background merge в общем thread pool так что после вставки могу быть разные результаты select 3) да влияет, но мало, чем длинее ключ (больше полей и больше кардинальность) тем медленней скорость (больше сравнений)

0

14.12.2020

Alexey Sokolov Автор вопроса

Denny [Altinity]
тут все что нужно знать про MV https://youtu.be/1L...

Доклад отличный! MV стал понимать намного лучше. На слайде про каскадирование MV было сказано, что MV1 при вставке преобразованных данных в своё хранилище триггерит MV2. А есть ли возможность триггерить MV на событие схлопывания данных движком? Например, мне надо сначала убрать дубли (чтобы отработал CollapsingMergeTree), а потом обращаться к нескольким столбцам схлопнутых данных по ключу, отличному от ключа схлопывания. Есть ли какие-то лайфхаки на этот счёт?

0

14.12.2020

Denny [Altinity]

Alexey Sokolov
Доклад отличный! MV стал понимать намного лучше. ...

>триггерить MV на событие схлопывания данных движком? нет. MV вообще не физически не может прочитать из таблицы, то что в таблице что-то там схлопнулось, значения не имеет, MV не может это прочитать. Посмотрите LiveView. >Есть ли какие-то лайфхаки на этот счёт? Все в доке. Данные всегда не схлопнуты, более того в какой-то момент парты достигнут макс. размера и схлопываться больше не будут. Т.е. все запросы select надо написать чтобы select домерживал, доагрегировал. Возможно вам подойдет модификатор FINAL, просто делать select from таблица FINAL

0

14.12.2020

Alexey Sokolov Автор вопроса

Denny [Altinity]
>триггерить MV на событие схлопывания данных движк...

Спасибо, буду изучать.

0

14.12.2020

Alexey Sokolov Автор вопроса

Denny [Altinity]
тут все что нужно знать про MV https://youtu.be/1L...

Денис, а я правильно понимаю, что прилетающие в MV куски данных ещё никак не отсортированы, а потому запрос можно особо не оптимизировать с учётом ключа сортировки?

0

19.12.2020

Denny [Altinity]

Alexey Sokolov
Денис, а я правильно понимаю, что прилетающие в MV...

да, не отсортированы, порядок записей в блоке ровно как было в инсерте. парт сортируется в слпд. стадии, при записи на диск.

0

19.12.2020

Alexey Sokolov Автор вопроса

Denny [Altinity]
да, не отсортированы, порядок записей в блоке ровн...

Понял, спасибо.

0

19.12.2020