Всем привет! Есть топик1 кафки в котором идут события. Есть

Question

Всем привет! Есть топик1 кафки в котором идут события. Есть

еще один топик2, в котором идет подмножество событий топика1.
Задача из потока событий 1 вычесть(убрать) события 2 и положить разницу в третий топик.
Как такое можно сделать? Может быть как-то используя Kafka Streams?
Подскажите, может быть кто-то решал такую или подобную задачу, куда копать?

#backend #java #programming #russian

0

10.09.2021

6 ответов

22 просмотра

Andrey Кац Автор вопроса

Alexander Vaskin
kafka streams, да

А оно как-то где-то умеет состояние хранить? события могут не совсем синхронно приходить, нужно дождаться события в топике2, которое нужно вычитать. Или там вся эта магия под капотом уже есть?

0

10.09.2021

Andrey

Клади в Кассандру события топика2 с ттл и фильтруй топик1

0

10.09.2021

Etki

Это требуется делать в реалтайме или оффлайн? Другими словами, есть ли ситуация когда в одном из топиков сообщение появится позже проведения проверки?

0

10.09.2021

Dima

у меня есть предчувствие, что вам поможет camel и eip

0

10.09.2021

Andrey Кац Автор вопроса

Etki
Это требуется делать в реалтайме или оффлайн? Друг...

Да, сообщения в топиках не синхронизированы

0

10.09.2021