Привет всем Подскажите, куда копать, что почитать. Задача - есть поток

событий в топике. Для некоторых записей надо вырезать или хешировать определенные поля (ну например номер телефона)
Как такое сделать с минимальными затратами?
В лоб видится приложение которое просто из одного топика читает -> вырезает нужное -> складывает в другой топик.
Но это сразу мониторнинг, алертинг, отказоусточивость и прочие радости. Может есть какой-нибудь более простой способ получить то же самое?

Kafka streams выглядит как идеальный вариант для этой задачи Но все равно читать из одного топика и писать в другой, сложно иначе

что значит сложно иначе?

Не понимаю конечной задачи

напоминает GDPR/CCPA/CPNI требования

ну частный случай деперсонализации потока событий

Какой же это гдпр, если топик с оригинальными данными остается, разве что на оригинале будет ретеншн до 14 дней

А почему вообще нужно писать в кафку сначала персонализированные данные?

потому что поток контролирую не я и он не только для меня.

А в чем вопрос тогда? Только преобразовывать данные и писать в новый топик

ну может быть есть какие-то варианты типа подгрузить код на кластер или сделать что-то типа view для топика (ну это я фантазирую) потому я спросил Достать - изменить - положить тут то все ясно

У кафки концепт в том, что данные лежат блоками друг за другом, чтобы Random io свести к минимуму

желание понятно, но на кафку не ложится, только дублировать

понял, спасибо!