170 похожих чатов

Решение с Debezium не подходит? Типа: 1) В какой-то момент времени

сообщение попадает в БД, ему там назначается sequence значение из БД.
2) Мы вычитываем WAL с помощью Debezium и кладем сообщения в кафку. В итоге, у нас сообщения в кафке уже имеют правильный порядок, и мы дальше можем работать только с порядком по offset.
3) Дальше уже всё стандартно, пишем процессоры сообщений, сохраняя нужный порядок

3 ответов

8 просмотров

2) если они попадают в одну partition. А если в разные, то порядок обработки не гарантируется

В идеале, не совсем подходит В imdb храним только счётчик, получается высокая скорость обработки + персистить ивент в бд нет нужды а в кафку нужно весь ивент положить Я так понимаю у вас в системе порядок определяется исходя из того какой ивент пришёл раньше У меня уже известен порядковый номер, просто нужно гарантировать порядок в итоговом топике

Что произойдёт на этапе 2 если Кафка отвалится?

Похожие вопросы

Обсуждают сегодня

Друзья, за кем?
Magic
12
Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
58
Сообщение* в закодированном виде. То есть, просто сделать sendMessage?text=Привет бла-бла! не получится, надо в HEX переводить, и добавлять процент, типа такого: sendMessage?t...
КТ315
21
Всем привет. Кто-то может подсказать, как можно перевести значения Selection поля, если список значений в нем формируется динамически? Я изначально их получаю из selection дру...
Наталья Селезнева
6
А случайно нет ли в паскале штатной возможности передать указатель и количество туда где array of в качестве аргумента?
zamtmn
25
Или даже по-другому вопрос выстрою Есть ли вообще в electron'e для винды, возможность кнопки действий в нотификацию впихнуть ?
Андрей
7
приветы , подскажите что я не так сделал , почему у меня скрипт не работает в программе Revit ? ;Autohotkey_RU IfWinActive ("ahk_exe Revit.exe") ; только в открытом Revit Gu...
Anton Terentev
2
> комьюнити я бы не судил по этому чату. Как мы видели по статам просмотров нескольких телеговских постов, то в чате их набивается 30-40 или даже выше, когда как общаются акти...
Constantin F.
4
void bytes2hex(uint8_t* to, uint8_t* from, uint16_t l) { // len(from) == l; len(to) == l * 2 for (uint16_t i = 0; i < l; ++i) { *(to++) = hex[(from[i] >> 4) & ...
#
3
Ну раз я пока тут, задам пару глупых вопросов. Зачем писать на ассемблере если компилятор довольно умный, а ассемблер много времени занимает? В каких прикладных задачах сейчас...
Максим Рябцев
20
Карта сайта