лучше использовать движок CollapsingMergeTree вместо ReplacingMergeTree или они равнозначны в условиях неизменяющихся строк с уникальными ключами сортировки?
Одна загрузка (ежедневная) состоит из 10-50k строк, а общая таблица до 6 миллионов строк
вам replacingMT нужен, collapsingMT требует некоторых приседаний с Sign (чтобы переписать дубликат, надо вставить ту же строку с Sign=-1 и потом уже обновленную строку с Sign=1) ну и да, дубликаты чистятся только при мержах (которые могут и не произойти) и только внутри одной партиции, так что чтобы “надежно избежать дубликатов” надо будет писать селекты с модификатором FINAL, которая может заметно замедлить запрос (насколько - зависит от, постреляйте-померьте)
не совсем так, нужно старый ключ вставить с -1, но да, нужно помнить что он был с 1.
Обсуждают сегодня