Несколько вопросов по Kafka Connect. 1. Правильно понимаю, что он спроектирован

в концепции one-way (или fire-and-forget) доставки? Т.е. отправка ответов не предполагается.
2. Exactly-once семантика не доступна для source-коннекторов, а для sink вроде как таких ограничений нет, верно? Если да, то тогда почему конфлюентовские коннекторы (вкл. платные) например jms sink, http sink и jdbc sink не поддерживают exactly-once?

12 ответов

27 просмотров

Потому что exactly once не существует, но непонятно чем at least once не угодил

Alex-Kravchenko Автор вопроса
Etki
Потому что exactly once не существует, но непонятн...

заказчик хочет перейти с JMS based message broker, который предоставляет exactly-once гарантии, но не устраивает его стоимость и возможности масштабирования

Alex-Kravchenko Автор вопроса
Etki
Потому что exactly once не существует, но непонятн...

exactly once в Kafka - это фикция, правильно я понял?

Alex Kravchenko
exactly once в Kafka - это фикция, правильно я пон...

Exactly once невозможно сделать из математических соображений. Но "классические" mq имеют флаг/счётчик redelivery count, который позволяет понимать было ли уже когда-то прочитано сообщение. Что сильно приближает к exactly once. В кафка такого счётчика нет и врядли будет, поэтому никогда не получится узнать читали ли уже это сообщение ранее или нет

Alex Kravchenko
заказчик хочет перейти с JMS based message broker,...

Я про это сообщение. Не про коннекторы

Alex-Kravchenko Автор вопроса
d.
Я про это сообщение. Не про коннекторы

понятно, теперь было бы замечательно получить ответы по Kafka Connect

Alex Kravchenko
заказчик хочет перейти с JMS based message broker,...

это что за такой jms брокер который предоставляет exactly-once? Правда интересно

d.
Exactly once невозможно сделать из математических ...

Немножечко путаем опять теплое и красивое ™ (простите). Exactly-once processing и exactly-once delivery. Все думают про flow Producer->Kafka->Consumer когда говорят про EOS. Это не правильно так думать. Во многом виноват багаж (без ручки) знаний из мира MQ. В Кафке (а точнее Kafka Streams) реализован Consume->Process->Produce results flow. Тут EOS работает, и для этого flow EOS и делался. Если вы хотите cherry-pick EOS features (идемпотентный продюсер, транзакционный продьюсер, транзакционный консьюмер) у вас не будет EOS. Я рассказывал обо всем этот тут https://youtu.be/PgkRhlUwYyE?t=1045 (таймкод сразу на модель обработки в Кафке и далее про семантики)

Alex-Kravchenko Автор вопроса
Vik Gamov
это что за такой jms брокер который предоставляет ...

Уже не столь популярный как раньше Weblogic JMS. Речь про message delivery mode, то что в JMS спецификации называется как once-and-only-once.

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта