что дубли в клике это плохо и надо это решать. Движок ReplaceMergeTree их переодически чистит, но в моменте бывают и порой много. Дубли на работу системы не влияют, иногда используем финал для запросов. Так вот вопрос дубли в клике это реально плохо ? И надо менять дизайн системы что бы их не было или это норма ?
А вопрос в том, что плохо ли Clickhouse от дублей ? Ответ, нет
Для КХ вообще по барабану, есть дубли или нет. Это уже Ваша проблема, как Вы будете с ними бороться. КХ предлагает возможность удаления дублей в фоне, но это предназначено для уменьшения объема данных. Соответственно, либо используете соответствующий движок и финал, либо просто группируйте данные. А вообще лучше, конечно, на своей стороне исключить дубли, чтобы затем не бороться с ними в виде финала и групповых запросов.
https://habr.com/ru/company/avito/blog/500678/#resharding-best-practices почитайте этот раздел статьи. Тут рассказано про решардинг и вероятность возникновения дубликатов
Обсуждают сегодня