Коллеги, возникла потребность передавать данные из одной кафка в другую

Question

Коллеги, возникла потребность передавать данные из одной кафка в другую

as is. Знаю решение через mm2 с фильтром по топикам. Вроде как можно через filestream connector. Есть еще какие варианты? Может есть какой бестпрактис?

#kafka #russian #software

0

12.10.2022

4 ответов

23 просмотра

Sergey Andreyev

У mm2 под капотом кафка-коннект (на случай, если хочется реализовать самому аналог) Если никаких особенностей нет, то я б лучше использовал что-нибудь из стандартных средств - ММ2, репликатор и тому подобного

0

12.10.2022

Denis Vlasov Автор вопроса

Sergey Andreyev
У mm2 под капотом кафка-коннект (на случай, если х...

Вот и хочу понять какое средство использовать. Нашел только файл стрим.

0

12.10.2022

Denis Vlasov Автор вопроса

Василий Калугин
MM хорош в случае репликации active - stand by. Ес...

Спасибо за развернутый ответ. Действительно, забыл про нейминг, но ведь если в одну сторону пулять, то цикла не выйдет. По поводу одного кластера - тут нужно забирать все из нескольких топиков чужого кластера в свой, в этом проблема

0

12.10.2022

Василий Калугин · Accepted Answer

MM хорош в случае репликации active - stand by. Если делать active-active, то нужно перед топиками добавлять название кластера, иначе будет циклически копироваться. А это может быть неудобно для вычитки/записи (нужно как-то приводить названия топиков к первоначальному виду). Также стоит учитывать задержку в передаче данных через ММ. Как вариант - подумать насчёт одного большого кластера, но нужна хорошая сеть между ними. Также посмотрите в сторону Ni-FI, если нужно не все топики передавать

52 похожих чатов

Коллеги, возникла потребность передавать данные из одной кафка в другую

4 ответов

Похожие вопросы