Товарищи, такой вопрос. Есть задача: консьюмить ивенты пользователя ровно в

том порядке, в котором продюсер положил их в кафку. Решением является проставлять всем сообщениям от конкретного пользователя одинаковый ключ, чтобы все сообщения прошли через один партишн. Я правильно понимаю, что при таком раскладе консьюминг пачки сообщений от конкретного пользователя произойдёт в одном потоке?

4 ответов

10 просмотров

писать по ключу id пользователя, тогда они пройдут через один партишен и порядок сохранится "в одном потоке" в смысле в одном consumer stream, да и если продюсер не может записать сообщение то он должен ждать пока сможет записать, разумеется и разумеется надо делать deduplication на стороне консюмера - повторы могут быть по 100500 разных причин exactly once на кафке сделать можно через транзакции, но гемор и тяжело очень

Mark-Korzhov Автор вопроса
Tim
писать по ключу id пользователя, тогда они пройдут...

deduplication можно сделать, не проблема. Повторный консьюминг ожидается тоже в порядке очереди? То есть, пока одно сообщение не вычитается, следующее по журналу будет ждать?

Mark Korzhov
deduplication можно сделать, не проблема. Повторны...

Что такое повторный консуминг? Ты подписку на события делаешь один раз на старте, по офсету на патрицию или по тайстемпу и читается батч, пока батч не отработаешь новый не полетит пулица

Mark-Korzhov Автор вопроса
M
Что такое повторный консуминг? Ты подписку на собы...

Имел ввиду ситуацию, когда кафка по какой-то причине прислала сообщение дважды

Похожие вопросы

Обсуждают сегодня

Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
Всем привет, есть небольшая проблема Есть такой скрипт document.addEventListener('DOMContentLoaded', function () { const sliderTabs = document.querySelectorAll('.s...
A da
8
@go1337 @dblackCat Привет. Все ещё дрочусь с fastpanel. Добавил второй домен который должен смотреть в рут того же сайта, но так как это просто домен, а не сайт, я не могу ему...
Ross 🦴
9
До речі, в ево нема можливості чи якого розширення щоб з адмінки з телефона зайти і терміново щось в верстці поправити?
Женя
7
кто-нибудь пользуется тайм-трекерами во время работы? так много разных нагуглил, может есть что-то популярное
Lencore
8
Пацаны. Я разрабатываю софт для инвайтинга на телетон, и столкнулся с такой проблемой, в один из чатов не могу приглашать никого, не дает добавлять, в то же время через официа...
Kernel Panic
11
Скажите, а кому нужен Currency как отдельный плагин вместо полноценного ecommerce в OctoberCMS? Кто-то использует его уже или планирует в будущем? Может я что-то не понимаю?
Igor
13
Розмовами про Рево мені нагадали часи, коли шаблони правилися прямо в адмінці. Хто в курсі, чому відійшли від цієї практики, так блейд не працює? Доволі зручно ж було (інколи)
Женя
3
Всем добрый вечер, Рад оказаться в кругу единомышленников. Начинаю погружаться в мир .net веба. Зовут Ерасыл 🖖 У меня назрел вопрос: Какой процент проектов, прошедшие через в...
Ерасыл
6
Чому? Да тому що без GiT не уявляю нормального проекта а коли код в базі то то так собі
Dmytro Lukianenko
3
Карта сайта