begining мы получаем множество дублей по primary_key.
как правильно настроить топик, чтобы при чтении с начала топика получить 1 сообщение для 1 primary_key ?
из текущих настроек compact.policy=compact
С коробки такой возможности нет
никак, нет таких опций, наличие дублей нормальное и задокументированное поведение. Сегменты компактятся просто скользящим буфером, если расстояние между сообщениями превышает объем буфера то в результирующем файле будут дубликаты. Можно попытаться на сервере что-то сделать через log.cleaner.dedupe.buffer.size но не очень понятно зачем вообще с этим бороться
Обсуждают сегодня