Краткий вопрос: Есть ли подтверждения, что CH 22.3 и выше

Question

Краткий вопрос: Есть ли подтверждения, что CH 22.3 и выше

стабильно работает с Kafka через Kafka Engine?

Развернуто:
Я неофит =), но очень хочу разобраться с CH.
Стоит задача тянуть данные из Kafka 3.2 в CH. Реализовал по инструкции + попробовал обработку ошибок .

Мой код выглядит так: https://pastebin.com/fwrNeGYt
Конфиг CH для тестов использовался дефолтный.
Провожу тесты на основа официально docker образа.
Работает - это в таблице de.stg появляются сообщения, не работает - сообщения не появляются.

CH_VERSION=21.8 # kafka works well!
CH_VERSION=22.3 # kafka not works
CH_VERSION=22.8.4.7 # kafka not works

Очень хочется CH 22.3+, там с JSON сильно лучше.

#backend #clickhouse #database #devops #programming #russian

0

09.09.2022

12 ответов

17 просмотров

TT Автор вопроса

Konstantin Ilchenko
стабильно работает, вы kafka_group_name меняли при...

нет =) , но это уже полезный намек.

0

09.09.2022

Konstantin Ilchenko

TT
нет =) , но это уже полезный намек.

ну если понимаете как работает кафка, то разберётесь)

0

09.09.2022

TT Автор вопроса

Konstantin Ilchenko
ну если понимаете как работает кафка, то разберёте...

При тестировании Kafka каждый раз обнулялась с удалением данных и загружались новые данные. Также CH начинался с пустой БД. Т.е. consumer не продолжал читать данные ранее вычитанные предыдущей версией. Проверю еще раз, со сменой consumer name через kafka_group_name

0

09.09.2022

Konstantin Ilchenko

TT
При тестировании Kafka каждый раз обнулялась с уда...

тогда смотрите в логах, на 22.3 всё работает без проблем

0

09.09.2022

Denny [Altinity]

типа у вас в json-х есть templateId ? как message выглядит? почему не работает написано в логе кх

0

09.09.2022

TT Автор вопроса

Denny [Altinity]
типа у вас в json-х есть templateId ? как message ...

да, в тестовом сообщении есть templateId. Сам Kafka message.value выглядит (упрощенно) так: { "templateId": "some text here" }

0

09.09.2022

Denny [Altinity]

TT
да, в тестовом сообщении есть templateId. Сам Kaf...

jsoneachrow это одна строка, без переводов строки

0

09.09.2022

TT Автор вопроса

Починил. Баг был глубокий, но к Клику не относящийся. Нашел в логах проблему с блокировкой файлов или правами внтури docker контейнера, запускаемого в Ubuntu через wsl. У меня проект располагался в windows части файловой системы, смонтированной в Ubuntu. Решилось после переноса проекта в ту часть файловой системы, что принадлежит непосредственно linux.

0

10.09.2022

RapidCodeLab

TT
Починил. Баг был глубокий, но к Клику не относящ...

практически в любом чате такая ситуация, докер + wsl = проблемы.

0

10.09.2022

TT Автор вопроса

RapidCodeLab
практически в любом чате такая ситуация, докер + w...

Мелкомягкие где то пишут о том ,что не стоит смешивать файловые системы, хотя прочитать из одной другую всегда можно. Разделяй и здравствуй ;)

0

10.09.2022

RapidCodeLab

TT
Мелкомягкие где то пишут о том ,что не стоит смеши...

это просто типичный диалог в чатах: бла-бла бла , не работает, докер. WSL? да. Понятно. ) я к тому, надо на родной для прода системе работать) в идеале)

0

10.09.2022

Konstantin Ilchenko · Accepted Answer

Konstantin Ilchenko

стабильно работает, вы kafka_group_name меняли при смене версий?

0

09.09.2022

184 похожих чатов

Краткий вопрос: Есть ли подтверждения, что CH 22.3 и выше

12 ответов

Похожие вопросы