А как сделать, чтобы он все сообщение в одной поле

Question

ClickHouse не тормозит

Ekaterina

А как сделать, чтобы он все сообщение в одной поле

вставлял без парсера? JSONAsString?

#backend #clickhouse #database #devops #programming #russian

0

30.11.2021

13 ответов

12 просмотров

Ekaterina Автор вопроса

Denny [Altinity]
да JSONAsString CREATE TABLE Test.queue ( j S...

получилось, спасибо, я зациклилась на том, что поля - это структура сообщения kafka timestamp, level, message, хотя level меня несколько смущал 😁

0

30.11.2021

Denny [Altinity]

Ekaterina
получилось, спасибо, я зациклилась на том, что пол...

но вообще kafka engine сам может разобрать сообщение JSONEachRow CREATE TABLE Test.queue ( UserUid String, Time UInt64, Country String ) ENGINE = Kafka('localhost:9092', 'TestData', 'group1', 'JSONEachRow') в mativew просто нужно будет преобразовать toUUIDOrZero(UserUid) , toDateTime(Time) ....

0

30.11.2021

Ekaterina Автор вопроса

Denny [Altinity]
но вообще kafka engine сам может разобрать сообщен...

Ну, да, я поняла. Заодно, поделитесь мнением, пожалуйста,благонадежно этим движком пользоваться? Или лучше отдельный сервис использовать для загрузки сообщение из кафки в клик?

0

30.11.2021

Denny [Altinity]

Ekaterina
Ну, да, я поняла. Заодно, поделитесь мнением, пожа...

ИМХО конечно нельзя пользоваться kafka=engine. НО десятки тысяч пользователей КХ абсолютно счастливо используют kafka=engine

0

30.11.2021

Ekaterina Автор вопроса

Denny [Altinity]
ИМХО конечно нельзя пользоваться kafka=engine. Н...

Спасибо ) примерно это и ожидала услышать.

0

30.11.2021

Никита Ильин

Denny [Altinity]
ИМХО конечно нельзя пользоваться kafka=engine. Н...

Добрый день, перечитываю чат в рамках обучения. Подскажите, пожалуйста, какие подводные камни есть в Kafka engine ? Где-то можно почитать?

0

19.12.2021

Serge Paschanin

Никита Ильин
Добрый день, перечитываю чат в рамках обучения. По...

Есть классная тема, если из Кафки приходит столбец с названием channelid, то там данных в КХ не будет.

0

19.12.2021

Konstantin Ilchenko

Никита Ильин
Добрый день, перечитываю чат в рамках обучения. По...

Гарантирует только at least once. Иногда будут дубли, и если данные критичны, придётся что-то с этим делать(писать уникальный id записи например + replacing использовать)

0

19.12.2021

Никита Ильин

Konstantin Ilchenko
Гарантирует только at least once. Иногда будут дуб...

Понял, спасибо

0

19.12.2021

Denny [Altinity]

Никита Ильин
Добрый день, перечитываю чат в рамках обучения. По...

он не очень гибкий. Не очень удобно поддерживать обработку ошибок в сообщениях, если есть топики из разных брокеров и таких брокеров много это все сложно настраивать и нужен рестарт КХ, он не умеет exactly once. Но exactly once почти вообще никто не умеет из коробки для КХ. Тут дело такое. Я как Альтинити инженер на первом же митинге с новым клиентом, рассказываю: что kafka engine убог и вообще говно, вы такие умные используете spark и понятно что json ужасен из-за дичайшего оверхеда, давайте сделаем POC kafka engine+JSONEachRow, а потом вы перепилите все без kafka engine и перейдете на TSV вместо JSON. Делаем POC, все всем нравится, и в итоге в прод большинство прям так и идут, пофиг и на оверхед по CPU и трафику и на что есть дубли в 0.00001% случаев. Я конечно в жизни не стал бы использовать kafka engine в проде, это безумие, но я и в distributed таблицы не вставляю. Мне проще кода нафигачить или других заставить сделать как я хочу, а не как проще.

0

19.12.2021

Denny [Altinity]

Serge Paschanin
Есть классная тема, если из Кафки приходит столбец...

ну это баг, это надо репортить, исправить это минут 5 займет и я бы проверил что у вас в слове channelid , все буквы латиницей,потому что в коде КХ и librd я не вижу channelid. Есть _channel_id в engine=rabbit

0

19.12.2021

Никита Ильин

Denny [Altinity]
он не очень гибкий. Не очень удобно поддерживать о...

Спасибо за развёрнутый ответ

0

19.12.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

да JSONAsString CREATE TABLE Test.queue ( j String ) ENGINE = Kafka('localhost:9092', 'TestData', 'group1', 'JSONAsString')

0

30.11.2021

184 похожих чатов

А как сделать, чтобы он все сообщение в одной поле

13 ответов

Похожие вопросы