Коллеги кто с Kafka Streams знаком? Выставили: processing.guaranty - exactly-once transaction.timeout.ms -

Question

Коллеги кто с Kafka Streams знаком? Выставили: processing.guaranty - exactly-once transaction.timeout.ms -

около 240 сек
commit.interval.ms - 0
у топиков replication.factor-3

Задержки по работе минимальные, брокер кафки дышит ровно, и из всей цепочки только на одном мкс получаем в процессе это исключение:

org.apache.kafka.common.errors.InvalidProducerEpochException: Producer with transactionalId 'hub-router-5c03929d-b3d3-4600-9855-16897a2c7874-3' and ProducerIdAndEpoch(producerId=172690, epoch=0) attempted to produce with an old epoch

#backend #java #programming #russian

0

08.09.2023

3 ответов

2 просмотра

Evgeny Автор вопроса

Ilya Starchenko
Видимо, у тебя реплика с тем же transactional id и...

Это странно так как exactly_once сам генерит transaction_Id для каждого инстанса

0

8 месяцев назад

Ilya Starchenko

Evgeny
Это странно так как exactly_once сам генерит trans...

Я не большой специалист в kafka streams, но кажется, что он генерируется на основе маски, которая передается в конфиге и таска. https://github.com/a0x8o/kafka/blob/fe51708ade3cdf4fe9640c205c66e3dd1a110062/streams/src/main/java/org/apache/kafka/streams/processor/internals/StreamThread.java#L453 Полный рандом нельзя делать, кмк, так как не получится определить случился ли fencing. Лучше, наверное, в чат кафки сходить.

0

8 месяцев назад

Ilya Starchenko · Accepted Answer

Ilya Starchenko

Видимо, у тебя реплика с тем же transactional id из-за чего случился fencing.

0

8 месяцев назад

170 похожих чатов

Коллеги кто с Kafka Streams знаком? Выставили: processing.guaranty - exactly-once transaction.timeout.ms -

3 ответов

Похожие вопросы