Уважаемые кафководы! подскажите, есть ли какой-то стандартный способ полного восстановления топика

кафки в смысле offsets/consumer groups?
содержимое топиков при этом неважно (можно считать что у восстановленного топика retention нулевой), главное чтобы офсеты были не с нуля, а с каких-то известных значений
можно также предполагать, что все consumer groups на одном и том же офсете

если я правильно понимаю как оно устроено, все офсеты хранятся в __consumer_offsets топике, и может быть туда их можно как-то послать снаружи
но можно ли как-то установить начало свежесозданного топика тоже на эти же офсеты вместо нулевого?

если без этого никак - я могу объяснить для чего это нужно )

5 ответов

23 просмотра

На вскидку без рестарта брокера вариантов кроме как генерить руками структуру файлов для кафки, чтобы она при рестарте отресторила что в таком топике последний оффсет был не нулевой. Но все же опишите зачем, может есть вменяемое решение проблемы

если консьюмеров не много, то вижу два варианта: 1) либо с настройкой earliest вычитать одно сообщение, чтоб подписка на топик появилась, затем сместить оффсет 2) либо с настрокой latest подписаться на топик, прочитать одно новое сообщение. отключиться, сместить оффсет ну или да, попробовать запродюсить данные в топик __consumer_offsets

Василий Калугин
если консьюмеров не много, то вижу два варианта: 1...

А можно сдвинуть оффсеты на несуществующие сообщения вперёд? (я не пробовал, но есть сомнения) И следующие приходящие сообщения не будут писаться так же с оффсетами с 0?

Sergey Andreyev
А можно сдвинуть оффсеты на несуществующие сообщен...

Можно, только осторожно Ничего не будет, перескочет на последний потом

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Привет!) Кто как юзает переменные в строках?) Чисто ради интереса Вот так: echo "У меня {$bananasAmount} бананов"; Или вот так: echo "У меня ${bananasAmount} бананов";
Виталий
3
разработчик ботов скидывает портфолио, боты которые он уже создал. А вот как узнать что это именно он их создал?
Gosudar
4
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Карта сайта