184 похожих чатов

Добрый день, коллеги! Есть 2 проблемы с engine kafka & materialized

view
По порядку.
В топик kafka пишется массив json объектов, eg
[{"TS":288676,"VF":23.34,"VS":null},{"TS":288236,"VF":23.31,"VS":null}]
Делаем
CREATE TABLE queue
(
TS Int64
, VF Nullable(Float64)
, VS Nullable(String)
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow';

В результате получаем ошибку вида "db::exception: cannot parse input: expected ']' before:" при попытке вычитки из очереди.

Делаем
CREATE TABLE queue
(
value String
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'LineAsString';

При вычитке из очереди видим в value (из примера сверху)
[{"TS":288676,"VF":23.34,"VS":null},{"TS":288236,"VF":23.31,"VS":null}
То есть последний символ обрезается. Это как то неприятно. Видимо engine ожидает в конце значения "\n" и превентивно его обрезает?

4 ответов

9 просмотров

я не уверен, что проблема в этом, но в если схема определяет объект, а в кафку пишется массив, то нужно сделать так, чтобы в кафку писались объекты.

Pavel-Vorontsov Автор вопроса
Fells
я не уверен, что проблема в этом, но в если схема ...

Схемы нет в кафке, просто пишется строка - массив json объектов

Есть jsonasstring

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Коллеги, доброе утро. Запустил на удаленном хосте приложение (ручками зашел туда по ssh и запустил, не командой удаленно). Создал потом ssh-туннель, и с моей машины приложение...
Δημήτηρ
9
Всем привет, подскажите/посоветуйте пожалуйста. Фаердак компоненты, имею одно место где бизнес хочет видеть при открытии формы список всех клиентов, это порядка 30к. Мои дово...
Sasha Sch
14
Ребят, если кто в курсе - скажите, а в загранке такое же засилье маркетплейсов? или там простые сермяжные интернет-магазины живут попроще?
Андрей [aharito] Харитонов
11
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
31
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
10
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
падает джоба хотя уже была собрана на соседнем namespace, куда капать? │ │ Copying blob sha256:2fa066caddb8f09a71082b03aa43046f79346a01d9c89e06a1f508bb1207dba5 427 │ │ Copyin...
Andrei St
6
Здравствуйте. Задача состоит в том, чтобы сделать real-time чат в мобильном приложении. После передачи сообщения пользователем через веб-сокеты, для основного и долговременног...
🐾
5
Книга Юрова В.И пойдёт для обучения?
Botsman
24
Карта сайта