Всем привет! Есть задача по чтению Кафки Спарк стримингом и

Question

Всем привет! Есть задача по чтению Кафки Спарк стримингом и

складыванием сообщений в хадуп. Схема в value может изменяться и поэтому не получается задать схему по которой можно распаковать сообщение. Есть вариант через collect собирать все колонки - но вроде это как то не очень, так как в один поток это делается (ну как я понял). Собсна вопрос как можно это распараллелить или как можно динамически схему определять?Или может есть какой бест практис как подобные задачи делать?

#hadoop #russian #software

0

18.04.2022

2 ответов

11 просмотров

Fedor Polyakov Автор вопроса

Alex Krash
Если вы кладёте в schema-less формате (json, напри...

Предполагается в паркет складывать, а там надо схему(

0

18.04.2022

Alex Krash · Accepted Answer

Alex Krash

Если вы кладёте в schema-less формате (json, например), то проблемы будто и нет :)

0

18.04.2022

52 похожих чатов

Всем привет! Есть задача по чтению Кафки Спарк стримингом и

2 ответов

Похожие вопросы