Доброго времени! Ребят, кто юзает kafka и debezuim в докере

подскажите пожалуйста как заставить UI debezuim автоматом создавать топики при настройке коннектора?
Использую образ
kafka image: docker.io/bitnami/kafka:3.4 с переменной KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true, а также образ
kafka-connect image: quay.io/debezium/connect:latest с переменной CONNECT_TOPIC_CREATION_ENABLE=true.
Читаю доку https://debezium.io/documentation/reference/stable/configuration/topic-auto-create-config.html и не пойму чего еще не хватает, UI debezuim все равно пишет "Kafka automatic topic creation is not enabled. See documentation for details on enabling this feature."

10 ответов

22 просмотра

эта (KAFKA_CFG_AUTO_CREATE_TOPICS_ENABL) опция включается на кафке, а не в коннекторе(дебезиуме)

Алексей-Арапов Автор вопроса
Сергей Голод
эта (KAFKA_CFG_AUTO_CREATE_TOPICS_ENABL) опция вкл...

так вот же Использую образ kafka image: docker.io/bitnami/kafka:3.4 с переменной KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true

Алексей Арапов
так вот же Использую образ kafka image: docker.io...

"докажите") что вы эту переменную передаёте в кафку. По ссылке на докер-образ это неочевидно)

Настройка на брокере раз, настройка создания топиков в самом коннекторе - два

Алексей-Арапов Автор вопроса
Сергей Голод
эта (KAFKA_CFG_AUTO_CREATE_TOPICS_ENABL) опция вкл...

Ну я бы приложил скрин в качестве доказательства, но тут нельзя) Сейчас проверил через kafka ui - в настройках брокера стоит auto.create.topics.enable true

Алексей-Арапов Автор вопроса

оба этих условия учтены переменными докера, вроде как

Алексей Арапов
Ну я бы приложил скрин в качестве доказательства, ...

может вы не к той кафке коннектитесь? попробуйте любым другим консьюмером подключиться к ней и проверить будет ли топик создан автоматически

Алексей Арапов
оба этих условия учтены переменными докера, вроде ...

Настройки коннектора не в докере, не путайте с коннектом

Алексей-Арапов Автор вопроса
Dima
Настройки коннектора не в докере, не путайте с кон...

тут не совсем понял, через env докера передаю переменную которая подтягивается в конфиг kafka-connect, или вы про другое?

Алексей Арапов
тут не совсем понял, через env докера передаю пере...

Есть сервак - Кафка-коннект, у него свой конфиг, а есть коннекторы - они ставятся на сервак у них свои конфиги

Похожие вопросы

Обсуждают сегодня

Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Я правильно понимаю что нет способов получить список ожидающих заявок на вступление в группу с помощью бота из mtproto?
Шамиль Прилов
7
Добрый день. Мне посоветовали обратиться к вам в чат за помощью. Ситуация описана на скрине. Как мне сказали, мне на бота навесили флудвейт. Есть ли возможность снять его ра...
OVERLINK
7
всем привет помогите пожалуйста используя CDN (GCP) у игроков из вьетнама загружается конфиг (размер 999 bytes) загружается 5 и более минут н а других CDN сервисах такой пробл...
Andrew Krw.
1
Просто по очереди выпиливаешь на ручной маппинг? По методу за раз
Andrii Kurdiumov
7
Приветствую. А не подскажете какие ограничения есть на использования api метода setMyName ? Несколько раз сменил имя бота и получил бан на 2 месяца на смену имени.
Slick Slack
8
)) может, нужно поправить? )) 2. Ребята, нам нужно, чтобы сообщения из Инстаграм приходили в ОДУ. Какое приложение посоветуете?
Alexander Sharoiko MSE / Александр Шаройко
1
Всем привет! Взялся портировать модули на 18 версию, лезет _logger.log(log_level, 'no translation language detected, skipping translation %s', frame, stack_info=True) А чт...
Max Lit
3
Привет, коллеги! Возникла задача ограничить максимальный размер вложений для определённых расширений, например, чтобы для изображений лимит был 10 МБ, а для видео — 100 МБ. Ог...
Andro
1
Карта сайта