Привет. Таблица mergeTree и десять полей. Нужно вставлять только уникальные

Question

Привет. Таблица mergeTree и десять полей. Нужно вставлять только уникальные

записи для всей таблицы. Проверка уникальности по двум полям. Инсерты идут по 10 млн записей. Есть решения из коробки? Или какое-то оптимальное решие для кликхауса имеется?

#backend #clickhouse #database #devops #programming #russian

0

17.09.2022

6 ответов

34 просмотра

Zhukov Dm Автор вопроса

Nara
https://clickhouse.com/docs/en/engines/table-engin...

Спасибо,это решение не подходит, т.к. не могу у изменить движок таблицы, а так же поля для определения уникальности отличаются от полей в ordre by

0

17.09.2022

Boris

Zhukov Dm
Спасибо,это решение не подходит, т.к. не могу у из...

Оптимальное решение для clickhouse предполагает именно это - вдумчивое определение движка и order by под вашу задачу. Проверять в полете 10М строк на присутствие в миллиардной таблице без хорошего индекса - так себе решение. Если у вас вставка раз в сутки - можете попробовать skip index, может быть на ваших данных он чем-то поможет, но скорее нет. Лучше переделать таблицу.

0

17.09.2022

Clir

В кх вообще нет уникальности, никаких констрейнтов

0

17.09.2022

Anton Mikhalev

проверять уникальность в момент вставки дорого. может на выборке лучше подшаманить? в клике для этого все имеется. а так, выше уже самые нормальные варианты разобрали)

0

17.09.2022

Anton Mikhalev

Anton Mikhalev
проверять уникальность в момент вставки дорого. мо...

https://altinity.com/blog/2020/4/14/handling-real-time-updates-in-clickhouse это как доп материал к этому варианту. есть вероятность что argMin, argMax, any, max вам подойдут не меняя структуру

0

17.09.2022

Nara · Accepted Answer

Nara

https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/replacingmergetree/ Учитывайте, что дедупликация будет работать в бэкграунде, то есть в момент времени после инсерта в данных могут быть дубликаты

0

17.09.2022

184 похожих чатов

Привет. Таблица mergeTree и десять полей. Нужно вставлять только уникальные

6 ответов

Похожие вопросы