последний раз писали? Из идей только по ts последнего сообщения(которого может не быть из за retention) и отслеживать maxOffset через бесконечное создание консюмеров и ресета - earliest (но это куда то складывать и узнать глубину N можно только по истечении времени N работы этого процесса ). Может можно как то оптимальнее, из хранилища offset или что то такое?
Ну как вариант сделайте новую консьюмер группу, получайте консьюмер рекорды и из них берите timestamp
ну там надо по 1к+ топиков, желательно это проверять раз в день или неделю, а есть топики с ретоншоном < дня, комбинировать свистопляски исходя из конфигурации топиков тоже как то не ок
Вы хотите иметь информацию по последнему сообщению в топике каждый день, я так понимаю?
Ну тогда сделайте вот это и пишите в базу последний таймстамп по каждому топику.
Обсуждают сегодня