кафки в смысле offsets/consumer groups?
содержимое топиков при этом неважно (можно считать что у восстановленного топика retention нулевой), главное чтобы офсеты были не с нуля, а с каких-то известных значений
можно также предполагать, что все consumer groups на одном и том же офсете
если я правильно понимаю как оно устроено, все офсеты хранятся в __consumer_offsets топике, и может быть туда их можно как-то послать снаружи
но можно ли как-то установить начало свежесозданного топика тоже на эти же офсеты вместо нулевого?
если без этого никак - я могу объяснить для чего это нужно )
На вскидку без рестарта брокера вариантов кроме как генерить руками структуру файлов для кафки, чтобы она при рестарте отресторила что в таком топике последний оффсет был не нулевой. Но все же опишите зачем, может есть вменяемое решение проблемы
если консьюмеров не много, то вижу два варианта: 1) либо с настройкой earliest вычитать одно сообщение, чтоб подписка на топик появилась, затем сместить оффсет 2) либо с настрокой latest подписаться на топик, прочитать одно новое сообщение. отключиться, сместить оффсет ну или да, попробовать запродюсить данные в топик __consumer_offsets
А можно сдвинуть оффсеты на несуществующие сообщения вперёд? (я не пробовал, но есть сомнения) И следующие приходящие сообщения не будут писаться так же с оффсетами с 0?
Не даст больше latest офсета сдвинуть
Можно, только осторожно Ничего не будет, перескочет на последний потом
Обсуждают сегодня