кластер коннекторов. Коннекторы подтягивают данные с нескольких источников и пишут в один топик. Топик состоит из нескольких партиций. Бизнес операция содержит несколько сообщений, которые относятся именно к ней и их очередность крайне важна. Поэтому необходимо обеспечить, чтобы все сообщения относящиеся к одной бизнес операции лежали в одной партиции.
Когда используем продьюсеров, мы можем переопределить партишионер и проблема решается. А как поступать в случае с коннекторами?
В sourcerecord partition key можно передать, как и номер партиции
Обсуждают сегодня