Товарищи, такой вопрос. Есть задача: консьюмить ивенты пользователя ровно в

том порядке, в котором продюсер положил их в кафку. Решением является проставлять всем сообщениям от конкретного пользователя одинаковый ключ, чтобы все сообщения прошли через один партишн. Я правильно понимаю, что при таком раскладе консьюминг пачки сообщений от конкретного пользователя произойдёт в одном потоке?

4 ответов

12 просмотров

писать по ключу id пользователя, тогда они пройдут через один партишен и порядок сохранится "в одном потоке" в смысле в одном consumer stream, да и если продюсер не может записать сообщение то он должен ждать пока сможет записать, разумеется и разумеется надо делать deduplication на стороне консюмера - повторы могут быть по 100500 разных причин exactly once на кафке сделать можно через транзакции, но гемор и тяжело очень

Mark-Korzhov Автор вопроса
Tim
писать по ключу id пользователя, тогда они пройдут...

deduplication можно сделать, не проблема. Повторный консьюминг ожидается тоже в порядке очереди? То есть, пока одно сообщение не вычитается, следующее по журналу будет ждать?

Mark Korzhov
deduplication можно сделать, не проблема. Повторны...

Что такое повторный консуминг? Ты подписку на события делаешь один раз на старте, по офсету на патрицию или по тайстемпу и читается батч, пока батч не отработаешь новый не полетит пулица

Mark-Korzhov Автор вопроса
M
Что такое повторный консуминг? Ты подписку на собы...

Имел ввиду ситуацию, когда кафка по какой-то причине прислала сообщение дважды

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта