спарком авро объекты, указывая схему в schema registery, если я запишу только часть авро объекта (без некоторых колонок) через KafkaProducer, указывая схему в schema registery - на той стороне нормально прочтут ? просто часть колонок будет нулл, я верно понимаю принцип ?
Зависит от самой схемы авро. Еcть коварный момент 1) { "name": "fieldName", "type": [ "null", "string" ], "default": null } 2) { "name": "fieldName", "type": [ "null", "string" ] } в первом случае поле можно просто не заполнять, во втором обязательно нужно написать m.setFileldName(null)
я понял. спасибо большое
Обсуждают сегодня