топике удаляются данные согласно установленному на топик retention.ms.
Кластер из 4х брокеров kafka_2.11, 8 партиций в топике, фактор репликации 2. Ретeншн на топик - 6 часов. В итоге сейчас в одной партиции нет данных старше 6 часов, в двух - старше 12 часов, в остальных данные двухдневной давности.
Картинка с размерами партиций для иллюстрации.
Подскажите, пожалуйста, куда копать и что крутить?
Данные в партициях разбиты по сегментам (файлам на диске). Кафка не удаляет активные сегменты (те те, в которые сейчас идёт запись) и периодически создаёт новые сегменты, делая их активными Если вы хотите примерно 6 часов, настройте ротацию сегментов более частую или их размер поменьше сделайте (дефолтный - гигабайт)
Обсуждают сегодня