моего кликхауса
<clickhouse>
<named_collections>
<mysql>
<user><some_password></user>
<password><some_password></password>
<host><mysql host></host>
<port><mysql port></port>
<database><some_db></database>
<connection_pool_size>8</connection_pool_size>
<on_duplicate_clause>1</on_duplicate_clause>
<replace_query>1</replace_query>
</mysql>
<kafka>
<kafka_broker_list>broker:29092</kafka_broker_list>
<kafka_topic_list>stonly.docker.clickhouseStats.stats</kafka_topic_list>
<kafka_group_name>clickhouse-consumer-group-docker</kafka_group_name>
</kafka>
</named_collections>
</clickhouse>
Вот моя таблица кафки:
CREATE TABLE StonlyStat.kafkaStats on cluster '{cluster}'(
all String
) ENGINE = Kafka(kafka)
SETTINGS
kafka_format = 'JSONAsString',
kafka_num_consumers = 1,
kafka_max_block_size = 1048576,
kafka_skip_broken_messages = 0;
И я не понимаю как моя таблица kafkaStats понимает с какого топика, от какого брокера и с какой групы читать сообщение с Кафки ?
А теперь посмотри как у нас сделана конфигурации уже не локально, а на тестетовом окружение:
<clickhouse>
<named_collections>
<mysql>
<user><some_password></user>
<password><some_password></password>
<host><mysql host></host>
<port><mysql port></port>
<database><some_db></database>
<connection_pool_size>8</connection_pool_size>
<on_duplicate_clause>1</on_duplicate_clause>
<replace_query>1</replace_query>
</mysql>
<kafka>
<kafka_broker_list>broker:29092</kafka_broker_list>
<kafka_topic_list>stonly.jenkins-test-env.clickhouseStats.stats</kafka_topic_list>
<kafka_group_name>clickhouse-consumer-group-jenkins-test-env</kafka_group_name>
</kafka>
</named_collections>
</clickhouse>
И мне нужно сделать все тоже самое только для моей новой таблицы при этом не хардкодить следующие данные:
kafka_broker_list = 'broker:29092',
kafka_topic_list = 'new_topic',
kafka_group_name = 'clickhouse-consumer-group-docker',
Я хочу что бы kafka_broker_list, kafka_topic_list, kafka_group_name подставлялись динамически в зависимости от окружения в котором запускается мое приложение
Но зачем менять названия топиков и группу в зависимости от окружения, почему они не могут быть одинаковыми?
Обсуждают сегодня