Вообще да, а как иначе?) никто не вынуждает автокоммит делать автокоммит

Question

pro.kafka

George Bolshakov

Вообще да, а как иначе?) никто не вынуждает автокоммит делать автокоммит

это всегда минус гарантия

#kafka #russian #software

0

17.08.2022

3 ответов

18 просмотров

George Bolshakov Автор вопроса

Alexander Fedyukov
Но у меня проблема с финальном топиком, где накапл...

оконную надо ставить именно на стриме сбора батчей. тогда если есть 2 входных топика, которые группируются, то каждое сообщение в рамках каждого входного топика всё равно будет обрабатываться после предыдущего. когда окно закрывается - в каждом входном топике фиксируется оффсет последнего сообщения, вошедшего в окно. либо фиксируется, либо нет. мало того, кафка поддерживает транзакции, и можно в одной транзакции положить сообщение в результирующий топик и закрепить сообщения, собранные за это окно. (запись в одной транзакции в результирующий топик и в consumer-offsets для входного) и не важно, сколько партиций/топиков на входе, гарантия доставки будет соблюдена, а каждое сообщение попадёт в выходной топик только один раз.

0

17.08.2022

Alexander Fedyukov

George Bolshakov
оконную надо ставить именно на стриме сбора батчей...

Так оно и есть. Вот код, он небольшой: final var stream = kStreamBuilder .stream(topic, Consumed.with(Serdes.String(), CustomJsonSerde.createDocSerde())) .selectKey((key, value) -> value.bic()) .groupByKey(Grouped.with(Serdes.String(), CustomJsonSerde.createDocSerde())) .windowedBy(TimeWindows.ofSizeAndGrace(Duration.ofSeconds(periodLimit), Duration.ofSeconds(periodLimit))) .aggregate(() -> {

0

17.08.2022

Alexander Fedyukov · Accepted Answer

Alexander Fedyukov

Но у меня проблема с финальном топиком, где накапливаются пакеты: вижу дубли.

0

17.08.2022

52 похожих чатов

Вообще да, а как иначе?) никто не вынуждает автокоммит делать автокоммит

3 ответов

Похожие вопросы