Доброе утро. Как я понял если есть MV над таблицей и

Question

Доброе утро. Как я понял если есть MV над таблицей и

по каким то причинам в MV вставка не удается то при вставке батчами эти батчи будут дуплицироваться в основной таблице (тк туда вставка проходит)

Получается что использование MV лишает вставку атомарности. Это планируется пофиксить или считается что это нормальное поведение?

ЗЫ: Сейчас встал вопрос в добавлении в таблицу искуственного уникального поля для возможности использования ReplacingMergeTree для устранения дубликатов и это порождает много других проблем, начиная с того что данные на диске вырастут на 50% а это терабайты лишние. Как-то нехорошо выходит

#backend #clickhouse #database #devops #programming #russian

0

31.07.2018

3 ответов

18 просмотров

Denny [Altinity]

на самом деле с insert в таблицу тоже нет атомарности, у меня при заданных max_*_block_size несколько раз вставилось частично, (например 5млн. из 17). Т.е. это бага, только я ее например не могу воспроизвести, так что не надейтесть на атомарность.

0

31.07.2018

Denny [Altinity]

>Or maybe inform somehow that main insert was succeed and only MVs >are problematic (not a very good solution, but better than nothing) вообще-то КХ сообщает, например при Code: 252. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts.: while pushing to view XXX3. для меня это означает что insert успешен в таблицу и в ее вьюхи XXX1 и XXX2, а в XXX3 и XXX4 и XXX5 ничего не вставилось или вставилось частично.

0

31.07.2018

Kirill Shvakov · Accepted Answer

Kirill Shvakov

Это не нормально, так или иначе это будет меняться.

0

31.07.2018

184 похожих чатов

Доброе утро. Как я понял если есть MV над таблицей и

3 ответов

Похожие вопросы