Подскажите про настройки интеграции с kafka: в Kafka SETTINGS есть опция:

Question

Подскажите про настройки интеграции с kafka: в Kafka SETTINGS есть опция:

kafka_group_name =
что в ней нужно выставлять?
Возможные варианты:
1) название группы инициатора сообщений того, кто пишет в kafka
2) везде писать clickhouse
3) везде должно быть свое название clickhouse_customname

В настоящий момент настраиваю три таблицы, что вытаскивают информацию из kafka ( каждая таблица из своего канала ), у меня везде было выставлено имя группы - clickhouse, в результате сообщения kafka переставали отображаться через запросы clickhouse ( через SELECT к таблице ) аккуратно после создания второй таблицы ( что вытаскивает информацию из kafka ). Сейчас же я в качестве группы указал уникальные для каждой таблицы название, и впервые добился, что все три таблицы вытаскивают информацию из kafka, параллельно друг другу, т.е. работают как и должны. Я немного почитал про идеологию kafka, но, ясности в отношении групп пока не возникло. Правильно ли в качестве группы указывать каждый раз кастомное имя, или же нужно указывать то, что прописано в группе инициатора сообщения? Влияют ли эти настройки на чистку сообщений внутри kafka?

#backend #clickhouse #database #devops #programming #russian

0

19.03.2019

2 ответов

7 просмотров

Mike Minaev

по идее в продюсере не указывается группа а только имя топика, если 3 таблицы читают один и тот же топик то в зависимости от желайний группы могут быть : 1. хочется получить 3 копии таблицы - тогда все 3 имени должны быть разными 2. хочется разбить на ноды тогда имя должно быть одно и тоже

0

19.03.2019

Mikhail Filimonov · Accepted Answer

Mikhail Filimonov

На самом деле это фичер Кафки, а не Кликхауса. Вкратце - название группы это ключ под которым Кафка хранит последний прочитанный оффсет в зукипере. Эти группы глобальные (не на топик). Про подробности - гуглите про Kafka consumer group .

0

19.03.2019

184 похожих чатов

Подскажите про настройки интеграции с kafka: в Kafka SETTINGS есть опция:

2 ответов

Похожие вопросы