миллионов записей, в ней есть поле id, оно по сути должно быть уникальным, как можно избавиться от неуникальных значений? создал вторую таблицу и пробовал перелить через distinct и отдельно еще с group by но distinct при большом количестве полей, берет просто все а на group by нехватает памяти на сервере ( пробовал заливать и по датам по пол года период). Есть ли еще какие нить способы?
Почитайте про движок ReplacingMergeTree. Нужно будет в конец ORDER BY добавить ваш id. И тогда по крону можно будет явно чистить таблицу от дублей с помощью команды OPTIMIZE
Обсуждают сегодня