Интерестно возможно ли записывая данные в CH из стриминга гарантировать "exactly once"?
CH тут ни при чем. Т.е. CH позволяет сделать идемпотентую операцию -- ретрай на replicated таблицах. Т.е. если сможете сделать exactly once до КХ, то дальше просто повторы инстертов, т.е. наверное можно сдлеать через запись метаинфы в дополнительный топик, и комитить брокером в кафку разом и новые офсеты и этот доплнительный топик. И тогда прочитав успех из топика вы будете знать, что можно полить дальше, правда есть тонкость что надо делать абсолютно такие же блоки insert-в, и как это сделать с кафкой без промежуточного стора, непонятно
Обсуждают сегодня