184 похожих чатов

У меня возникал проблема, вот мой xml файл с конфигурации

моего кликхауса
<clickhouse>
<named_collections>
<mysql>
<user><some_password></user>
<password><some_password></password>
<host><mysql host></host>
<port><mysql port></port>
<database><some_db></database>
<connection_pool_size>8</connection_pool_size>
<on_duplicate_clause>1</on_duplicate_clause>
<replace_query>1</replace_query>
</mysql>
<kafka>
<kafka_broker_list>broker:29092</kafka_broker_list>
<kafka_topic_list>stonly.docker.clickhouseStats.stats</kafka_topic_list>
<kafka_group_name>clickhouse-consumer-group-docker</kafka_group_name>
</kafka>
</named_collections>
</clickhouse>


Вот моя таблица кафки:
CREATE TABLE StonlyStat.kafkaStats on cluster '{cluster}'(
all String
) ENGINE = Kafka(kafka)
SETTINGS
kafka_format = 'JSONAsString',
kafka_num_consumers = 1,
kafka_max_block_size = 1048576,
kafka_skip_broken_messages = 0;

И я не понимаю как моя таблица kafkaStats понимает с какого топика, от какого брокера и с какой групы читать сообщение с Кафки ?

А теперь посмотри как у нас сделана конфигурации уже не локально, а на тестетовом окружение:
<clickhouse>
<named_collections>
<mysql>
<user><some_password></user>
<password><some_password></password>
<host><mysql host></host>
<port><mysql port></port>
<database><some_db></database>
<connection_pool_size>8</connection_pool_size>
<on_duplicate_clause>1</on_duplicate_clause>
<replace_query>1</replace_query>
</mysql>
<kafka>
<kafka_broker_list>broker:29092</kafka_broker_list>
<kafka_topic_list>stonly.jenkins-test-env.clickhouseStats.stats</kafka_topic_list>
<kafka_group_name>clickhouse-consumer-group-jenkins-test-env</kafka_group_name>
</kafka>
</named_collections>
</clickhouse>

И мне нужно сделать все тоже самое только для моей новой таблицы при этом не хардкодить следующие данные:
kafka_broker_list = 'broker:29092',
kafka_topic_list = 'new_topic',
kafka_group_name = 'clickhouse-consumer-group-docker',

Я хочу что бы kafka_broker_list, kafka_topic_list, kafka_group_name подставлялись динамически в зависимости от окружения в котором запускается мое приложение

1 ответов

6 просмотров

Но зачем менять названия топиков и группу в зависимости от окружения, почему они не могут быть одинаковыми?

Похожие вопросы

Обсуждают сегодня

Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
55
Привет, нужен совет старших товарищей. Есть глобальная переменная var DefaultDataFolder:string; инициализируем DefaultDataFolder:='a:\_OUT\'; есть примитивная процедур...
Max Otto
14
Вопрос. Теоретический. Есть список команд. Команды отправляю в обработку некой функции, по очереди. Разные команды могут давать разные результаты после обработки. В зависимос...
Serjone
7
Всем вечера. Подскажите как лучше сделать. делаю на Д10 Например будет база данных на SQLite. в ней будет много таблиц. более 50шт Типа справочник. Содержать ID Name Id p...
Андрей Т 🐎
10
А если для werf организовать отдельный репозиторий, а сервисы из проекта подключить как симлинки? И симлинки в гитигнор добавить?
Dmitriy Andreev
13
Я короче решил скомпилировать Nim в js, я думал он сработает как обычный транслятор. По итогу он мне создал файл с расширением js, и туда поместил кучу кода Вопрос, что это з...
𝕾𝖍𝖆𝖉𝖊 <suspense>
9
Всем здравствуйте!) У меня такой вопрос. Есть два роута, роут1 и роут2. Они связаны с очередью some_queue. По задаче предполагается, что есть два паблиша. Паблиш1 отправляет...
Format
10
это группа токсиков или тех кто помогает?
Ибрагим
9
подскажите пожалуйста, как мне освободить результат записанный в переменную result? в чем проблема подскажите если МОЖЕТЕ?
Михаил Helper
28
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Карта сайта