Всем привет ! Прошу дайте совет Сохранил csv данные в avro и

Question

Всем привет ! Прошу дайте совет Сохранил csv данные в avro и

передал в Kafka передавал через Nifi
И надо считать эти данные в Flink
нашел кучу информации как перевести avro объект обратно в объект.
Но вопрос у меня изначально csv данные
Соответсвенно напрямую я не смогу привести к объекту ....
я могу щас флинком считать данные вв стринге.
Как прочитать avro -> csv -> java объект
я смог с помощью схему и авро плагина создать класс объект .
Но как мне перевести в читабельный вид авро данные на флинк?
пробовал десерилизовать напрямую в объект хрень получается все падает

И не могу ничего подобного найти

#backend #java #programming #russian

0

24.03.2022

9 ответов

42 просмотра

Илья Шапорто Автор вопроса

Владислав Хакин
Авро данные читаешь в классы, созданные из авросхе...

так попробовал вот хрень получается NoSuchMethodError: org.apache.flink.api.java.typeutils.TypeExtractor.analyzePojo(Ljava/lang/Class;Ljava/util/ArrayList; и не могу найти ответа, все говорят о версии, но нет проблема с версией, так как в стринге то топик могу прочитать ... вот как можно прочитать"Авро данные читаешь в классы" не могу въехать, так как у меня csv данные, там просто числа и пару строк через запятую .

0

24.03.2022

Владислав Хакин

Илья Шапорто
так попробовал вот хрень получается NoSuchMeth...

Через kafka avro value deserializer

0

24.03.2022

Владислав Хакин

Владислав Хакин
Через kafka avro value deserializer

Но я с флинком не знаком, поэтому могу не знать его специфику и ошибаться, как там нужно делать

0

24.03.2022

Илья Шапорто Автор вопроса

Владислав Хакин
Через kafka avro value deserializer

ну вообще да типа через эту шляпу но есть беда .setDeserializer(KafkaRecordDeserializationSchema.valueOnly(EventLteLogPublicInfoTest.class)) Cannot resolve method 'valueOnly(java.lang.Class<entity.EventLteLogPublicInfoTest>) у меня нет этого метода, так как класс в принцепе создан с помощью авро плагина... и вот вопрос херли ему не хватает((((

0

24.03.2022

Владислав Хакин

Илья Шапорто
ну вообще да типа через эту шляпу но есть беда ...

А зачем ты его используешь если у тебя нет?)) Какие есть имплементации MessageDeserializer? Я вроде авро свой писал, ибо в открытом доступе не нашел почему-то. Сейчас скину

0

24.03.2022

Илья Шапорто Автор вопроса

Владислав Хакин
А зачем ты его используешь если у тебя нет?)) Каки...

Я просто брал из документов флинка, я его и не использую , пытался свой десериализатор написать , такая же ошибка и вот не могу даже понять че ему не нравится он даже к Кафки не коннектиться падает на ошибки ноусачметодеррор

0

24.03.2022

Илья Шапорто Автор вопроса

Владислав Хакин
А зачем ты его используешь если у тебя нет?)) Каки...

Буду благодарен

0

24.03.2022

Владислав Хакин

Илья Шапорто
Я просто брал из документов флинка, я его и не исп...

А как свой писал, есть код?

0

24.03.2022