Compacted будет оставлять только самую свежую запись среди записей с

идентичным ключом.

т.о. у вас у удаленных будет сохраняться только самый свежий статус.
и нормально оно читается.

опять же - надо материализовать - можно, вопрос зачем только

вы с этим списком не-удаленных что делать будете?
кафка не стоит готовить как реляционную табличку.

если вам нужно итоговое представление, с которого можно вычитать все живые сообщения по юзеру - вам нужно из кафка направлять поток в материализованное представление. монго, сиквел, что угодно.

но когда вам надо будет еще собирать метрики по сообщениям, строить полнотекстовый поиск - вы порадуетесь, что у вас есть кафка.

спокойно подсаживаете эластик сосать данные для построения поиска и радуетесь.

P.S. прочтите про compacted топики
они для того и нужны, чтобы хранить только 1 самое свежее состояние.

только там нет гарантии удаления

оно служит для того, чтобы экономить место, а не гарантию давать))