184 похожих чатов

А как сделать, чтобы он все сообщение в одной поле

вставлял без парсера? JSONAsString?

13 ответов

33 просмотра

да JSONAsString CREATE TABLE Test.queue ( j String ) ENGINE = Kafka('localhost:9092', 'TestData', 'group1', 'JSONAsString')

Ekaterina- Автор вопроса
Denny [Altinity]
да JSONAsString CREATE TABLE Test.queue ( j S...

получилось, спасибо, я зациклилась на том, что поля - это структура сообщения kafka timestamp, level, message, хотя level меня несколько смущал 😁

Ekaterina
получилось, спасибо, я зациклилась на том, что пол...

но вообще kafka engine сам может разобрать сообщение JSONEachRow CREATE TABLE Test.queue ( UserUid String, Time UInt64, Country String ) ENGINE = Kafka('localhost:9092', 'TestData', 'group1', 'JSONEachRow') в mativew просто нужно будет преобразовать toUUIDOrZero(UserUid) , toDateTime(Time) ....

Ekaterina- Автор вопроса
Denny [Altinity]
но вообще kafka engine сам может разобрать сообщен...

Ну, да, я поняла. Заодно, поделитесь мнением, пожалуйста,благонадежно этим движком пользоваться? Или лучше отдельный сервис использовать для загрузки сообщение из кафки в клик?

Ekaterina
Ну, да, я поняла. Заодно, поделитесь мнением, пожа...

ИМХО конечно нельзя пользоваться kafka=engine. НО десятки тысяч пользователей КХ абсолютно счастливо используют kafka=engine

Ekaterina- Автор вопроса
Denny [Altinity]
ИМХО конечно нельзя пользоваться kafka=engine. Н...

Спасибо ) примерно это и ожидала услышать.

Denny [Altinity]
ИМХО конечно нельзя пользоваться kafka=engine. Н...

Добрый день, перечитываю чат в рамках обучения. Подскажите, пожалуйста, какие подводные камни есть в Kafka engine ? Где-то можно почитать?

Никита Ильин
Добрый день, перечитываю чат в рамках обучения. По...

Есть классная тема, если из Кафки приходит столбец с названием channelid, то там данных в КХ не будет.

Никита Ильин
Добрый день, перечитываю чат в рамках обучения. По...

Гарантирует только at least once. Иногда будут дубли, и если данные критичны, придётся что-то с этим делать(писать уникальный id записи например + replacing использовать)

Никита Ильин
Добрый день, перечитываю чат в рамках обучения. По...

он не очень гибкий. Не очень удобно поддерживать обработку ошибок в сообщениях, если есть топики из разных брокеров и таких брокеров много это все сложно настраивать и нужен рестарт КХ, он не умеет exactly once. Но exactly once почти вообще никто не умеет из коробки для КХ. Тут дело такое. Я как Альтинити инженер на первом же митинге с новым клиентом, рассказываю: что kafka engine убог и вообще говно, вы такие умные используете spark и понятно что json ужасен из-за дичайшего оверхеда, давайте сделаем POC kafka engine+JSONEachRow, а потом вы перепилите все без kafka engine и перейдете на TSV вместо JSON. Делаем POC, все всем нравится, и в итоге в прод большинство прям так и идут, пофиг и на оверхед по CPU и трафику и на что есть дубли в 0.00001% случаев. Я конечно в жизни не стал бы использовать kafka engine в проде, это безумие, но я и в distributed таблицы не вставляю. Мне проще кода нафигачить или других заставить сделать как я хочу, а не как проще.

Serge Paschanin
Есть классная тема, если из Кафки приходит столбец...

ну это баг, это надо репортить, исправить это минут 5 займет и я бы проверил что у вас в слове channelid , все буквы латиницей,потому что в коде КХ и librd я не вижу channelid. Есть _channel_id в engine=rabbit

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта