транзакции создаётся свой Id в виде uuidv4, так же для работы необходимо получать последнее сообщение, поэтому создаётся consumer и админ клиентом получаю offset у топика и выставляю на консьюмере. Консьюмер везде уникальный. Могу сделать что бы использовался один и тот же
Ничё непонятно. Что значит "надо получать последнее сообщение", а остальные не надо что ли получать ) ? Топиков у вас сколько?
Остальные получают другие консьюмеры. Получить последнее сообщение нужно что бы работал механизм синхронизации. Топиков примерно 50
Это очень странно выглядит. То есть вы на каждое сообщение создаёте по консьюмеру?
Нет. Раз в пол минуты получаю последнее сообщение из топика и по нему лезу в апи и достаю новые данные, далее транзакцией заношу их в топик и другой консьюмер обрабатывает эти сообщения
Раз в полминуты соединяетесь с кафкой указывая какую consumer-group, каждый раз разную?
Не делайте так. Консьюмер группа это очень небесплатный в кафке объект.
А transactionId разный указывать?
Я не знаю что такое transactionId, пардон. Но консьюмер группы нельзя размножать бесконтрольно.
А разве транзакция может быть с одним id?
На вряд ли, поэтому остановлю как есть
Это не про конкретную транзакцию. Это опция на стороне продюсера , включает работу транзакций в Kafka.
Обсуждают сегодня