Пытаюсь соединить кафку и кликхаус движком. таблицы все сделал -

Question

Пытаюсь соединить кафку и кликхаус движком. таблицы все сделал -

результата нет
в чате подсказали про конфиг в кафке advertised.listeners он был закоменчен.
я раскоментил и указал: advertised.listeners=PLAINTEXT://127.0.0.1:9092 потом через контейнер kafka1:порт результата нет. там указывается адрес на котором кафка или кликхаус??? (по инфе из инета вроде кафка)

#backend #clickhouse #database #devops #programming #russian

0

24.10.2023

17 ответов

141 просмотр

Юрий Автор вопроса

Konstantin Ilchenko
адрес с которого будет читать КХ если всё в одной...

advertised.listeners=PLAINTEXT://kafka1:9092 в кафке Kafka SETTINGS kafka_broker_list = 'kafka1:9092', kafka_topic_list = 'first_kafka_topic', kafka_group_name = 'group1', kafka_format = 'JSONEachRow' в Engine Parameters. Результата нет

0

24.10.2023

Konstantin Ilchenko

Юрий
advertised.listeners=PLAINTEXT://kafka1:9092 в каф...

ну вы из консоли сначала попробуйте прочитать, в КХ ещё рано тестить почитайте эту статью, про то как это в кафке устроено, там есть пример с compose и kafkacat чтобы потестить чтение из другого контейнера https://www.confluent.io/blog/kafka-listeners-explained/

0

24.10.2023

Юрий Автор вопроса

Konstantin Ilchenko
ну вы из консоли сначала попробуйте прочитать, в К...

спасибо за наводку. сегодня уже натыкался на эту ссылку. Изучу.

0

24.10.2023

Denny [Altinity]

Юрий
advertised.listeners=PLAINTEXT://kafka1:9092 в каф...

а что там с select * from kafka ошибку удалось увидеть?

0

24.10.2023

Юрий Автор вопроса

Denny [Altinity]
а что там с select * from kafka ошибку удалось уви...

вроде сразу кидал со скрином, "Error executing query: SQL Error [1002]: ClickHouse exception, code: 1002, host: 192.168.65.254, port: 8123; Code: 620. DB::Exception: Direct select is not allowed. To enable use setting stream_like_engine_allow_direct_select. (QUERY_NOT_ALLOWED) (version 22.1.3.7 (official build))"

0

24.10.2023

Denny [Altinity]

Юрий
вроде сразу кидал со скрином, "Error executing qu...

ну так я же писал select * from kafka settings stream_like_engine_allow_direct_select=1

0

24.10.2023

Юрий Автор вопроса

Denny [Altinity]
ну так я же писал select * from kafka settings s...

ошибки нет, просто пусто

0

24.10.2023

Denny [Altinity]

Юрий
ошибки нет, просто пусто

что в логе КХ в этот момент?

0

24.10.2023

Юрий Автор вопроса

Denny [Altinity]
что в логе КХ в этот момент?

вообще нечего, с обеда

0

24.10.2023

Юрий Автор вопроса

Denny [Altinity]
что в логе КХ в этот момент?

все последние логи с дбивером

0

24.10.2023

Denny [Altinity]

Юрий
вообще нечего, с обеда

может это другой КХ ?

0

24.10.2023

Юрий Автор вопроса

Denny [Altinity]
может это другой КХ ?

вроде не может такого быть, у меня кликхаус был в одном контейнере, я его остановил, дополнил компос и запустил другой в сети с кафкой. так что docker ps работающие контейнеры все в одном экземпляре

0

24.10.2023

Denny [Altinity]

Юрий
вроде не может такого быть, у меня кликхаус был в ...

кх просто в логи пишет без остановки. Вы логи внутри контейнера смотрите?

0

24.10.2023

Юрий Автор вопроса

Denny [Altinity]
кх просто в логи пишет без остановки. Вы логи внут...

через докер декстоп, но перестраховался и через docker logs <контейнер>

0

24.10.2023