Несколько вопросов по Kafka Connect. 1. Правильно понимаю, что он спроектирован

в концепции one-way (или fire-and-forget) доставки? Т.е. отправка ответов не предполагается.
2. Exactly-once семантика не доступна для source-коннекторов, а для sink вроде как таких ограничений нет, верно? Если да, то тогда почему конфлюентовские коннекторы (вкл. платные) например jms sink, http sink и jdbc sink не поддерживают exactly-once?

12 ответов

17 просмотров

Потому что exactly once не существует, но непонятно чем at least once не угодил

Alex-Kravchenko Автор вопроса
Etki
Потому что exactly once не существует, но непонятн...

заказчик хочет перейти с JMS based message broker, который предоставляет exactly-once гарантии, но не устраивает его стоимость и возможности масштабирования

Alex-Kravchenko Автор вопроса
Etki
Потому что exactly once не существует, но непонятн...

exactly once в Kafka - это фикция, правильно я понял?

Alex Kravchenko
exactly once в Kafka - это фикция, правильно я пон...

Exactly once невозможно сделать из математических соображений. Но "классические" mq имеют флаг/счётчик redelivery count, который позволяет понимать было ли уже когда-то прочитано сообщение. Что сильно приближает к exactly once. В кафка такого счётчика нет и врядли будет, поэтому никогда не получится узнать читали ли уже это сообщение ранее или нет

Alex Kravchenko
заказчик хочет перейти с JMS based message broker,...

Я про это сообщение. Не про коннекторы

Alex-Kravchenko Автор вопроса
d.
Я про это сообщение. Не про коннекторы

понятно, теперь было бы замечательно получить ответы по Kafka Connect

Alex Kravchenko
заказчик хочет перейти с JMS based message broker,...

это что за такой jms брокер который предоставляет exactly-once? Правда интересно

d.
Exactly once невозможно сделать из математических ...

Немножечко путаем опять теплое и красивое ™ (простите). Exactly-once processing и exactly-once delivery. Все думают про flow Producer->Kafka->Consumer когда говорят про EOS. Это не правильно так думать. Во многом виноват багаж (без ручки) знаний из мира MQ. В Кафке (а точнее Kafka Streams) реализован Consume->Process->Produce results flow. Тут EOS работает, и для этого flow EOS и делался. Если вы хотите cherry-pick EOS features (идемпотентный продюсер, транзакционный продьюсер, транзакционный консьюмер) у вас не будет EOS. Я рассказывал обо всем этот тут https://youtu.be/PgkRhlUwYyE?t=1045 (таймкод сразу на модель обработки в Кафке и далее про семантики)

Alex-Kravchenko Автор вопроса
Vik Gamov
это что за такой jms брокер который предоставляет ...

Уже не столь популярный как раньше Weblogic JMS. Речь про message delivery mode, то что в JMS спецификации называется как once-and-only-once.

Похожие вопросы

Обсуждают сегодня

Всем привет. Подскажите, почему не меняется значение поля при переключении сайта?
Alexander Peterikov
11
Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Цвет аватарки с буквой же зависит от айди? Как может быть такое, что этот цвет поменялся?
Lencore
2
Приветствую друзья, подскажите сколько в среднем стоит на данный момент создать тг бота который будет как магазин? Показывать ассортименты доставлять заказы и тд? Все по станд...
Eugene
3
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
@dblackCat Привет. Это же твой плагин? https://octobercms.com/plugin/catdesign-productbundle
Alexey Yakimov
5
Карта сайта