из кафки, есть ее копия с MergeTree созданная для матвью, и есть матвью который с простым условием должен складывать данные в табличку.
Все бы хорошо, но некоторые записи начинают дуплицироваться просто так, в чем может быть причина?
Из необычного когда создавался MergeTree то использовался старый синтаксис, а именно так :
...
date Date MATERIALIZED toDate(Timestamp)
) ENGINE = MergeTree(date, date, 8192);
https://altinity.com/blog/clickhouse-kafka-engine-faq это уже читали?
Прочитал, спасибо И получается на некоторых версиях клика, предположительно на "старых" данные могут дублироваться?
на новых тоже в редких случаях, at least once пока только поддерживаетс
У вас кафка брокер стабильно работает? Кх нормально оффсеты коммитит?
Не знаю как ответить на вопрос. Сравниваем клик с куду, там из того же топика льется и дуплицирования нет
Обсуждают сегодня