elastic->kafka используем JSON плагин
https://www.elastic.co/guide/en/logstash/current/plugins-codecs-json.html
Данные замечательно заливаются в топик, но плоским неразмеченным по полям JSON
Для связки kafka-> Oracle используем Confluent JDBC Connector.
Проблема в том, что плоский JSON нельзя передать через этот коннектор
https://rmoff.net/2021/03/12/kafka-connect-jdbc-sink-deep-dive-working-with-primary-keys
"You cannot use plain JSON, CSV, etc with the JDBC Sink connector"
Логи из elastic частенько разных форматов прилетают и описывать это в AVRO схему +применять KSQL выглядит ненадежно.
Как все содержимое value сообщения можно передать в виде одного поля в oracle? А его уже там всякие etl распарсят
либо коннектор другой искать (что дешевле по инфре) либо сначала перекладывать из одного топика в другой с трансформацией под схему, которую поддерживает коннектор.
Обсуждают сегодня