184 похожих чатов

Всем привет. Не удается прочитать из топика кафки сообщения в кликхаусе В

общем настроил контейнеры:
kafka:
image: "wurstmeister/kafka:latest"
ports:
- "9092:9092"
- "9094:9094"
hostname: kafka
links:
- zookeeper
environment:
- KAFKA_ADVERTISED_HOST_NAME=172.16.80.81
- KAFKA_ADVERTISED_LISTENERS=INSIDE://kafka:9092,OUTSIDE://172.16.80.81:9094
- KAFKA_LISTENERS=INSIDE://:9092,OUTSIDE://:9094
- KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
- KAFKA_INTER_BROKER_LISTENER_NAME=INSIDE
- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181

zookeeper:
image: wurstmeister/zookeeper:latest
ports:
- "2181:2181"

создал таблицу с engine=Kafka
CR```EATE TABLE IF NOT EXISTS event_props_queue (
{columns}
) ENGINE = Kafka SETTINGS kafka_broker_list = '172.16.80.81:9094',
kafka_topic_list = ‘event_topic',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow',
kafka_skip_broken_messages = 1,
kafka_num_consumers = 1;
н```астроил MV
но что то кликхаус не хочет подтягивать данные.
Сам кликхаус поднят на хосте без докер контейнера.
Подскажите, чяднт?
P.S
в логах зукипера заметил такие ошибки, но правда они были давно
2020-04-28 14:05:35,545 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0x101e92b95af0005 type:multi cxid:0xdf zxid:0x18e txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/admin/preferred_replica_election Error:KeeperErrorCode = NoNode for /admin/preferred_replica_election
2020-04-28 14:17:50,267 [myid:] - INFO [PurgeTask:DatadirCleanupManager$PurgeTask@138] - Purge task started.
2020-04-28 14:17:50,271 [myid:] - INFO [PurgeTask:DatadirCleanupManager$PurgeTask@144] - Purge task completed.

3 ответов

17 просмотров

в логе КХ читайте что делает консьмер

Radaram- Автор вопроса

Ребята, нет ли у вас каких либо идей?

А Вы проверяли доступ к кафке, просто kafka-console-consumer-ом?

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Карта сайта