Привет, у кого был опыт подключения кафки? создал таблицы CREATE TABLE tracking_log_kafka_raw (

Question

Привет, у кого был опыт подключения кафки? создал таблицы CREATE TABLE tracking_log_kafka_raw (

jsonString String
) ENGINE = Kafka
SETTINGS
kafka_broker_list = 'kafka:9092',
kafka_topic_list = 'tracking_log_new',
kafka_group_name = 'clickhouse_group_raw',
kafka_format = 'JSONAsString’

create table tracking_log_replica_new
(
timestamp DateTime,
guid String,
…..
)
engine = MergeTree()
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY (…)
SETTINGS index_granularity = 8192;
и матвью поверх
CREATE MATERIALIZED VIEW default.consumer_raw TO default.tracking_log_replica_new
AS
SELECT FROM_UNIXTIME(JSONExtractInt(JSONExtractRaw(jsonString, 'timestamp'), 'seconds')) as timestamp,
JSONExtractString(jsonString, 'hwid') as guid
….
FROM default.tracking_log_kafka_raw;

Данные читаются из кафки, но не тригерят вьюху
Проверял парсинг входного json`a через insert - всё ок
Что может быть не так с матвью?

#backend #clickhouse #database #devops #programming #russian

0

18.10.2021

5 ответов

12 просмотров

Roman Дубатов Автор вопроса

Denny [Altinity]
просто селект из кафки таблицы что показывает?

Показывает строку с json'ом, как и предполагалось

0

18.10.2021

Denny [Altinity]

Roman Дубатов
Показывает строку с json'ом, как и предполагалось

странно, но тогда пустые строки все равно должны записываться в таблицу

0

18.10.2021

Roman Дубатов Автор вопроса

Denny [Altinity]
странно, но тогда пустые строки все равно должны з...

По идее после вычитки строки должны удаляться, а они остаются в таблтце с кафкой

0

18.10.2021

Denny [Altinity]

Roman Дубатов
По идее после вычитки строки должны удаляться, а о...

в логе КХ тогда будут ошибки про парсинг. для теста сделайте MV которое просто пишет в таблицу строку, без изменений, а потом попробуйте из этой таблицы распарсить селектом

0

18.10.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

просто селект из кафки таблицы что показывает?

0

18.10.2021

184 похожих чатов

Привет, у кого был опыт подключения кафки? создал таблицы CREATE TABLE tracking_log_kafka_raw (

5 ответов

Похожие вопросы