Гарантируется ли отсутствие дуплицируемых сообщений между консьюмерами однинаковой группы ?

9 ответов

12 просмотров

В целом в кафке вообще не гарантируется отсутствие дублей и можно всегда создать ситуацию с повторной вычиткой того же сообщения, если оно не закоммичено

Кафка это не про дедупликацию

А так в целом - да, потому что у вас консьюмеры в группе читают разный набор партиций.

Ineffable- Автор вопроса
Nick
В целом в кафке вообще не гарантируется отсутствие...

Просто вот у меня есть user_registration_event, и есть нескл инстансов emailNotificationService и нескл инстансов userStatisticsService, они все подписаны на user_registration_event. И нужно, чтобы все ивенты дуплицировались 2 раза, чтобы два сервиса могли обработать каждое сообщение, но при этом только 1 инстанс каждого сервиса мог обработать одно сообщение. Это же возможно?

Ineffable
Просто вот у меня есть user_registration_event, и ...

Те, кому нужен дубль должны иметь отличающиеся группы, а все кому нужен один набор сообщений - одну и туже (между собой) группу

Ineffable- Автор вопроса
d.
Те, кому нужен дубль должны иметь отличающиеся гру...

То есть если будет 4 консьюмера сервиса1 и 4 консьюмера сервиса2. Мне нужно 4 партиции топика. И на каждую партицию будет 1 инстанс сервиса1 и 1 инстанс сервиса2?

Ineffable
Просто вот у меня есть user_registration_event, и ...

у тебя так и будет происходить у тебя есть сущность - топик, в нем user_registration_event сообщение в кафке сообщения для каждой группы не дублируются, вместо этого у каждой группы свои оффсеты при чтении топика первая consumer group - это emailNotificationService и только 1 инстанс этого сервиса в рамках своей группы получит сообщение из соответствующей партиции вторая consumer group - это userStatisticsService и только 1 инстанс этого сервиса в рамках своей группы получит это же сообщение из соответствующей партиции число партициий бери как минимально как число инстансов твоих сервисов или больше

Ineffable- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Ребята, всем привет. Подскажите, пожалуйста, можно ли как-то через бота понять, что этого бота добавили в группу\канал и выдали ему права администратора?
Artem Stormageddon
9
Это переведённый текст с английского. Я не говорю на русском, но могу использовать переводчик Телеграм. Приветствую! Я начинающий веб-разработчик и все еще учусь. В настояще...
𐩱𐩪𐩣𐩱𐩲𐩺𐩡
2
А не хотим ли мы развлечься? 😉 Но так чтобы с пользой для наших профессиональных навыков?? 👨‍🎓👩‍🎓 Предлагаю на октябрь запланировать тестовый запуск новой командной игры "Игр...
Andrii Kurdiumov
2
Привет всем! Почему этот код не срабатывает при добавлении или удалении пользователя из чата? bot.on('chat_member', async (ctx) => { console.log(ctx); }) bot.launch({allo...
Alexander
5
у кого сколько оперативы на базе данных ?
АДИЛЬБЕК
4
Через бот апи возможно получить ID стикерпака? Не ссылку.
Vexylon [АФК до 09.09]
5
Привет Хочу сделать аналог iCloud’а для своих проектов, чтобы пользовательская информация хранилась в облаке, была доступна во всех сервисах, её можно было подсасывать везде)...
Виталий
9
В тг можно спарсить всех кто пишет в группе? Если список участников скрыт
S
3
код Event::listen('cms.page.display', function (&$content, $slug, $page, $html) { if (is_object($content)) { dump($content); } else { dump($s...
Point 111
3
Ребят, а двух-факторку для плагина Users и для бэкенда октября кто-то прикручивал? Поделитесь опытом
Constantine Anikin
4
Карта сайта