в концепции one-way (или fire-and-forget) доставки? Т.е. отправка ответов не предполагается.
2. Exactly-once семантика не доступна для source-коннекторов, а для sink вроде как таких ограничений нет, верно? Если да, то тогда почему конфлюентовские коннекторы (вкл. платные) например jms sink, http sink и jdbc sink не поддерживают exactly-once?
Потому что exactly once не существует, но непонятно чем at least once не угодил
заказчик хочет перейти с JMS based message broker, который предоставляет exactly-once гарантии, но не устраивает его стоимость и возможности масштабирования
exactly once в Kafka - это фикция, правильно я понял?
Yup, это идемпотентный at least once
Exactly once невозможно сделать из математических соображений. Но "классические" mq имеют флаг/счётчик redelivery count, который позволяет понимать было ли уже когда-то прочитано сообщение. Что сильно приближает к exactly once. В кафка такого счётчика нет и врядли будет, поэтому никогда не получится узнать читали ли уже это сообщение ранее или нет
Я про это сообщение. Не про коннекторы
понятно, теперь было бы замечательно получить ответы по Kafka Connect
это что за такой jms брокер который предоставляет exactly-once? Правда интересно
нет, это маркетинг
Немножечко путаем опять теплое и красивое ™ (простите). Exactly-once processing и exactly-once delivery. Все думают про flow Producer->Kafka->Consumer когда говорят про EOS. Это не правильно так думать. Во многом виноват багаж (без ручки) знаний из мира MQ. В Кафке (а точнее Kafka Streams) реализован Consume->Process->Produce results flow. Тут EOS работает, и для этого flow EOS и делался. Если вы хотите cherry-pick EOS features (идемпотентный продюсер, транзакционный продьюсер, транзакционный консьюмер) у вас не будет EOS. Я рассказывал обо всем этот тут https://youtu.be/PgkRhlUwYyE?t=1045 (таймкод сразу на модель обработки в Кафке и далее про семантики)
Уже не столь популярный как раньше Weblogic JMS. Речь про message delivery mode, то что в JMS спецификации называется как once-and-only-once.
Обсуждают сегодня