Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда

Question

Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда

нужно иметь две разные учетки для разных топиков.

Сейчас так:

--kafka.xml в config.d/
<?xml version="1.0"?>
<yandex>
<kafka>
<sasl_mechanism>PLAIN</sasl_mechanism>
<security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user</sasl_username>
<sasl_password>pass</sasl_password>
</kafka>
<kafka_topic_my-topic>
<sasl_mechanism>PLAIN</sasl_mechanism>
<security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user2</sasl_username>
<sasl_password>pass2</sasl_password>
</kafka_topic_my-topic>
</yandex>

Первая таблица работает.
А вот вторая нет (в ней указано kafka_topic_list = 'my-topic')

Есть идеи? (сервер перезагружал)
Пробоавал вариант и явно указать <kafka_topic_my-first-topic> - не работает. Ему ‘-’ не нравится?

#backend #clickhouse #database #devops #programming #russian

0

26.01.2021

5 ответов

12 просмотров

Edya Автор вопроса

Ошибки выглядят так, похоже пытается подключится с учеткой из блока kafka, а не kafka_topic_* 2021.01.26 13:24:13.250765 [ 86107 ] {dc25d001-a117-429b-a4c4-650c53843394} <Error> StorageKafka (my-topic): Consumer error: Broker: Group authorization failed 2021.01.26 13:24:13.250815 [ 86107 ] {dc25d001-a117-429b-a4c4-650c53843394} <Error> StorageKafka (my-topic): There were 1 messages with an error 2021.01.26 13:24:13.250847 [ 86107 ] {dc25d001-a117-429b-a4c4-650c53843394} <Error> StorageKafka (my-topic): Only errors left 2021.01.26 13:24:41.924235 [ 86123 ] {cb82ab86-6c37-4f4b-85e1-d076d50b19e7} <Warning> StorageKafka (my-topic): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.

0

26.01.2021

Edya Автор вопроса

Коллеги, есть идеи?

0

26.01.2021

Edya Автор вопроса

Slach [altinity]
вроде глядя на документацию https://clickhouse.tec...

хм, а в русской версии глобальный (kafka) и по топикам (kafka_topic_*).

0

26.01.2021

Edya Автор вопроса

Slach [altinity]
вроде глядя на документацию https://clickhouse.tec...

спасибо, это помогло. Дока на русском вводит в заблуждение.

0

27.01.2021

Slach [altinity] · Accepted Answer

Slach [altinity]

вроде глядя на документацию https://clickhouse.tech/docs/en/engines/table-engines/integrations/kafka/#configuration должно быть <kafka_my-topic> без _topic

0

26.01.2021

184 похожих чатов

Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда

5 ответов

Похожие вопросы