кх
2. селект существующих строк из таблицы B в кх
3. из A вычитаем все что есть в B
4. запись в кафку результата для множества консюмеров
5. чтение нативным кх-шным консюмером в таблицу B
Вопрос: как правильно построить пайплайн на кафке, чтобы избежать дублей, когда, например консюминг в кх приостановился?
Стоит ли идти в сторону compact-топика?
Не стоит, потому что в нем остается latest сообщение, а нужно earliest
Обсуждают сегодня