Всем привет, подскажите как правильно вернуть оффсет на начало у

консьюмер группы? через kafka-consumer-groups.sh у меня не получилось справится с аутентификацией между клиентом и сервером.
пробую на питоне скриптом

topic = 'my-topic'

consumer.subscribe([topic])

filtered_topics = consumer.list_topics()
partitions = filtered_topics.topics[topic].partitions

topic_partitions = list()
for part in partitions:
topic_partitions.append(TopicPartition(topic=topic, partition=part, offset=OFFSET_BEGINNING))

consumer.assign(topic_partitions)
for tp in topic_partitions:
consumer.seek(tp)

try:
msg = None
while msg is None:
msg = consumer.poll(timeout=1.0)

consumer.commit(offsets=topic_partitions, asynchronous=False)
finally:
consumer.close()

коммит выдаёт что cimpl.KafkaException: KafkaError{code=_NO_OFFSET,val=-168,str="Commit failed: Local: No offset stored"}

хотя я в akhq ui для кафки вижу что лаг появился, хотя не до конца, не тот который я ожидаю

3 ответов

49 просмотров

через kafka admin api лучше, не через консюмер апи

Eugene-Zakharov Автор вопроса
Yegor
через kafka admin api лучше, не через консюмер апи

не нашёл примера через admin api, всё стараются через on_assign сделать, например тут https://developer.confluent.io/get-started/python/?_ga=2.211577683.772978707.1678800149-871619111.1672400887#build-consumer я вроде решил свою проблему с помощью https://github.com/confluentinc/confluent-kafka-python/issues/201#issuecomment-330773567

Eugene Zakharov
не нашёл примера через admin api, всё стараются че...

ой, я ошибся в го я бы подключился клиентом и напрямую запрос в апи кафки сделал без консюмера и вот этого всего

Похожие вопросы

Обсуждают сегодня

Ребята, всем привет. Подскажите, пожалуйста, можно ли как-то через бота понять, что этого бота добавили в группу\канал и выдали ему права администратора?
Artem Stormageddon
9
Это переведённый текст с английского. Я не говорю на русском, но могу использовать переводчик Телеграм. Приветствую! Я начинающий веб-разработчик и все еще учусь. В настояще...
𐩱𐩪𐩣𐩱𐩲𐩺𐩡
2
А не хотим ли мы развлечься? 😉 Но так чтобы с пользой для наших профессиональных навыков?? 👨‍🎓👩‍🎓 Предлагаю на октябрь запланировать тестовый запуск новой командной игры "Игр...
Andrii Kurdiumov
2
у кого сколько оперативы на базе данных ?
АДИЛЬБЕК
4
Привет всем! Почему этот код не срабатывает при добавлении или удалении пользователя из чата? bot.on('chat_member', async (ctx) => { console.log(ctx); }) bot.launch({allo...
Alexander
5
Через бот апи возможно получить ID стикерпака? Не ссылку.
Vexylon [АФК до 09.09]
5
Привет Хочу сделать аналог iCloud’а для своих проектов, чтобы пользовательская информация хранилась в облаке, была доступна во всех сервисах, её можно было подсасывать везде)...
Виталий
9
В тг можно спарсить всех кто пишет в группе? Если список участников скрыт
S
3
код Event::listen('cms.page.display', function (&$content, $slug, $page, $html) { if (is_object($content)) { dump($content); } else { dump($s...
Point 111
3
Доброе утро, мультиязычные сайты делал кто-нибудь? Какие подводные камни? Нужно чего нибудь допом ставить? Как поступить? В теории сделать две папки ru en и туда кидать страни...
Racoon Mitya
2
Карта сайта