Если есть задача единорозово почистить все дубликаты, то можно попробовать OPTIMIZE PARTITION. Она всегда все куски партиции смерживает в один (и соотвественно дедуплицирует)
сегодня тоже задался этим вопросом :) Храню логи сообщений и в какой то момент обнаружил, что возникает дубликат пары (chat_id, msg_id) в момент записи. Попробовал сделать ReplacingMergeTree с кортежем (chat_id, msg_id), но он вообще все схлопывал и не писал :) Поэтому присоединяюсь к вопросу: как схлопывать одинаковые записи, где "одинаковые" - если сходятся два столбца?
Обсуждают сегодня