сообщение попадает в БД, ему там назначается sequence значение из БД.
2) Мы вычитываем WAL с помощью Debezium и кладем сообщения в кафку. В итоге, у нас сообщения в кафке уже имеют правильный порядок, и мы дальше можем работать только с порядком по offset.
3) Дальше уже всё стандартно, пишем процессоры сообщений, сохраняя нужный порядок
2) если они попадают в одну partition. А если в разные, то порядок обработки не гарантируется
В идеале, не совсем подходит В imdb храним только счётчик, получается высокая скорость обработки + персистить ивент в бд нет нужды а в кафку нужно весь ивент положить Я так понимаю у вас в системе порядок определяется исходя из того какой ивент пришёл раньше У меня уже известен порядковый номер, просто нужно гарантировать порядок в итоговом топике
Что произойдёт на этапе 2 если Кафка отвалится?
Обсуждают сегодня