А как можно отслеживать актуальность топика - когда в него

Question

А как можно отслеживать актуальность топика - когда в него

последний раз писали? Из идей только по ts последнего сообщения(которого может не быть из за retention) и отслеживать maxOffset через бесконечное создание консюмеров и ресета - earliest (но это куда то складывать и узнать глубину N можно только по истечении времени N работы этого процесса ). Может можно как то оптимальнее, из хранилища offset или что то такое?

#kafka #russian #software

0

13.02.2023

4 ответов

17 просмотров

Petr O. Автор вопроса

Sergey Rybakov
Ну как вариант сделайте новую консьюмер группу, по...

ну там надо по 1к+ топиков, желательно это проверять раз в день или неделю, а есть топики с ретоншоном < дня, комбинировать свистопляски исходя из конфигурации топиков тоже как то не ок

0

13.02.2023

Sergey Rybakov

Petr O.
ну там надо по 1к+ топиков, желательно это проверя...

Вы хотите иметь информацию по последнему сообщению в топике каждый день, я так понимаю?

0

13.02.2023

Sergey Rybakov

Sergey Rybakov
Ну как вариант сделайте новую консьюмер группу, по...

Ну тогда сделайте вот это и пишите в базу последний таймстамп по каждому топику.

0

13.02.2023