Всем привет. Подскажите у топика настроил протухание сообщений на 2000 миллисекунды

(retention.ms)
В данный топик постоянно происходит запись с интервалом 500 миллисекунд
Но Kafka не удаляет сообщения пока происходит запись, а запись происходит постоянно и бесконечно.
Когда Продюсера останавливаю то сообщения удаляются.
Мне не нужны старые сообщения.
Может как то в памяти правильно такой топик создавать без записи на диск?
Или обязательно останавливать Продюсера периодически?
Есть какие то варианты чтоб Продюсера не останавливать а сообщения протухали?

Активный записываемый блок не может удалится, удаление происходит только неактивных блоков. Как мне кажется проблема в этом... А критично важно чистить прям так часто данные в Кафке?

натс или редис для пабсаба или rpc

Да, чистить критично. Но удаление происходит даже при постоянной активной записи. Когда блок заполняется, запись идет в новый блок. И старый удаляется. Все норм. Все регулируется правилами деления на блоки. Кафка норм.

А что такое RPC? Скажите чтоб диск не использовать у Кафки. Можно настроить Если даты в Сегменте и сегмент удалился. И оперативной памяти хватило. Хочу чтобы не писался этот сегмент на диск. Или как вообще понять когда кафка на Диск пишет? Как настроить это чтобы запись на диск минимизировать для не нужных данных. Чтобы весь топик в памяти был и протухал в памяти. Или хотя бы все в памяти а на диск запись боль блоками/сегментами.

а зачем вам кафка тогда? выше предложили тот же редис для пабсаба

Это вам с параметрами log.flush.* надо эксперементировать. https://kafka.apache.org/27/documentation.html#brokerconfigs_log.flush.interval.messages Либо посмотреть в сторону любой kv хранилки живущей в оперативной памяти, как коллеги выше предлагают

Если вы под блоком имеете ввиду сегменты - то да, это основное, что нужно подправить. Можно выставить половину нужного времени и подтюнить\проверить как часто запускается тред удаления. Если на диск не надо сохранять - встречал в статьях, что можно как директории хранения использовать /dev/null, но лично сам не пробовал (в частности не знаю как поведет себя с файлами метаданных)