топика: A (KStream) -> B (KTable) -> C (KStream), между которыми проходит перетекание данных в этом порядке.
На первом шаге данные из стрима А накапливаются в таблицу B и аггрегируются по ключу с уже существующими там данными.
На втором шаге по прошествию сложным образом вычисляемого интервала времени, индивидуального для каждой записи, данные из B переносятся в C.
Вопрос относится ко второй части. Что будет триггером переноса?
---
На данный момент думаем про то, чтобы сделать отдельный топик D. В который батч-джоба будет сабмитить "сигналы для переноса", то есть ключи таблицы B. Которые будут джоиниться с B на втором шаге и таким образом переноситься.
Есть ли другие, более прямые варианты? Или надо думать в какую-то другую сторону?
А есть идеи?
таки punctuator должен помочь, если я правильно понял задачу
Обсуждают сегодня