Привет! В наследство достался кластер kafka c zookeeper

,версия 3.2.0, 3 ноды.
Стоит задача разово среплицировать с него данные в новый кластер,но уже с kraft.

С kafka практически не работал, посоветуйте,пожалуйста,инструмент,который подойдет для решения задачи?

16 ответов

8 просмотров

зачем вам крафт?

ktc- Автор вопроса
Старый Хрыч
зачем вам крафт?

скорее это требование заказчика

заказчик вкурсе что все скрипты для регена в случае сбоя ещё под зукипер?

mirror-maker2

Сергей Голод
mirror-maker2

вроде из зоокипера в крафт и наоборот нельзя

es]x
вроде из зоокипера в крафт и наоборот нельзя

да и главное нахрена, крафт ещё сырой и не для прода

ktc- Автор вопроса
Старый Хрыч
заказчик вкурсе что все скрипты для регена в случа...

пока вот как раз собираю информацию, целесообразно ли вообще

es]x
вроде из зоокипера в крафт и наоборот нельзя

с чего бы? там же просто содержимое топиков реплицируется по стандартному протоколу работы с брокером. ZK - это просто хранилище мета-данных для кафки

ktc
пока вот как раз собираю информацию, целесообразно...

крафт целесообразно только на новые проекты, на старые до 4.0 там нечего делать

es]x
крафт целесообразно только на новые проекты, на ст...

на крафт до 3,7 версии вообще делать нечего, в jbod не умеет. смерть носителя равно смерть окончателльная для брокера, отвал маунта по какой либо причине у брокера, - ебля и проблемы

ktc
скорее это требование заказчика

а заказчик это кто относительно вас?

es]x
спросите у производителя)

я решил не спрашивать), а просто поднять кафку с ZK и рядом mm2 из неё в кафку с kraft. Как и ожидалось - всё прекрасно работает, как и ожидалось. мм2 работает с брокерами, а не с ZK @killthecult, можете спокойно поднимать mm2 и лить всё в соседний кластер. Единственное - полиси поменять, чтобы имена топиков были без префиксов в новом кластере. Выше обсуждалось как это сделать в mm2

Igor
JBOD уже в 3.6 завезут

крафт в 3,0 завезли, а работать хть как то он в 3,4 только начал

Похожие вопросы

Обсуждают сегодня

Так а кто может спарсить всех участников чата? Идишники
Magic
18
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Как удалить health check в Consul? Казалось бы, это должно быть не сложно, но я не могу найти в документации ничего про это, только про добавление service с health check "в н...
Roman
2
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
13
Privet! Mozhet jesti ideji - nemogu sdelatj upload backup s filestore cerez WEB. Fail okolo 450mb, eto mozhet bitj prichinoi? Nemogu ponjatj..kak zagruzitj backup... Poluchaju...
Matiss 🤘 Black Oak IT 🌳 Batumi 🌴 Latvija
5
Нужно магазин с тильды на опен кат перенести Есть кто умеет? В лс
Magic
8
А кто знает в тейлоре до сих пор есть конфликты слагов или поправили уже?
Black Cat
5
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
Я хочу запустить свой проект в тг. Что-то между пирамидой и майнилкой. Еще подобного ничего не было. Уникальная идея. Нужен именно не бот, а приложение. С ввод, выводом тон...
Павел А.
6
Я колись ставив гуглу антиспам 3.0, може і норм, але мені не дуже зайшло. Теж думав тиждень, що його і куди. Зупинився на трех варіантах відразу всі три і включив 1. Перевір...
𝓔𝓾𝓰𝓮𝓷𝓮𝓥 J
2
Карта сайта