топике удаляются данные согласно установленному на топик retention.ms.
                      
                      
                      Кластер из 4х брокеров kafka_2.11, 8 партиций в топике, фактор репликации 2. Ретeншн на топик - 6 часов. В итоге сейчас в одной партиции нет данных старше 6 часов, в двух - старше 12 часов, в остальных данные двухдневной давности.
                      
                      
                      Картинка с размерами партиций для иллюстрации. 
                      
                      
                      Подскажите, пожалуйста, куда копать и что крутить?
                      
                      
                    
Данные в партициях разбиты по сегментам (файлам на диске). Кафка не удаляет активные сегменты (те те, в которые сейчас идёт запись) и периодически создаёт новые сегменты, делая их активными Если вы хотите примерно 6 часов, настройте ротацию сегментов более частую или их размер поменьше сделайте (дефолтный - гигабайт)
Обсуждают сегодня