виде json, нужно в hdfs перегонять, желательно в формате avro. У меня сложилось впечатление, что при использовании kafka=connect-json это невозможно: для этого логи в кафке тоже в авро формате должны быть? Или я ошибаюсь и есть способ настроить kafka-connect-hdfs для моего кейса?
Насколько я знаю, встроенные конвертеры на лету json в avro не перегонят. Потому лучше заведите отдельный процесс, который будет выполнять трансформацию данных и сохранять их в отдельный топик, и уже содержимое этого топика лейте в hdfs.
https://www.confluent.io/stream-processing-cookbook/ksql-recipes/changing-data-serialization-format-json-avro
Обсуждают сегодня