общем настроил контейнеры:
kafka:
image: "wurstmeister/kafka:latest"
ports:
- "9092:9092"
- "9094:9094"
hostname: kafka
links:
- zookeeper
environment:
- KAFKA_ADVERTISED_HOST_NAME=172.16.80.81
- KAFKA_ADVERTISED_LISTENERS=INSIDE://kafka:9092,OUTSIDE://172.16.80.81:9094
- KAFKA_LISTENERS=INSIDE://:9092,OUTSIDE://:9094
- KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
- KAFKA_INTER_BROKER_LISTENER_NAME=INSIDE
- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
zookeeper:
image: wurstmeister/zookeeper:latest
ports:
- "2181:2181"
создал таблицу с engine=Kafka
CR```EATE TABLE IF NOT EXISTS event_props_queue (
{columns}
) ENGINE = Kafka SETTINGS kafka_broker_list = '172.16.80.81:9094',
kafka_topic_list = ‘event_topic',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow',
kafka_skip_broken_messages = 1,
kafka_num_consumers = 1;
н```астроил MV
но что то кликхаус не хочет подтягивать данные.
Сам кликхаус поднят на хосте без докер контейнера.
Подскажите, чяднт?
P.S
в логах зукипера заметил такие ошибки, но правда они были давно
2020-04-28 14:05:35,545 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0x101e92b95af0005 type:multi cxid:0xdf zxid:0x18e txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/admin/preferred_replica_election Error:KeeperErrorCode = NoNode for /admin/preferred_replica_election
2020-04-28 14:17:50,267 [myid:] - INFO [PurgeTask:DatadirCleanupManager$PurgeTask@138] - Purge task started.
2020-04-28 14:17:50,271 [myid:] - INFO [PurgeTask:DatadirCleanupManager$PurgeTask@144] - Purge task completed.
в логе КХ читайте что делает консьмер
Ребята, нет ли у вас каких либо идей?
А Вы проверяли доступ к кафке, просто kafka-console-consumer-ом?
Обсуждают сегодня