Всем привет, подскажите как правильно вернуть оффсет на начало у

консьюмер группы? через kafka-consumer-groups.sh у меня не получилось справится с аутентификацией между клиентом и сервером.
пробую на питоне скриптом

topic = 'my-topic'

consumer.subscribe([topic])

filtered_topics = consumer.list_topics()
partitions = filtered_topics.topics[topic].partitions

topic_partitions = list()
for part in partitions:
topic_partitions.append(TopicPartition(topic=topic, partition=part, offset=OFFSET_BEGINNING))

consumer.assign(topic_partitions)
for tp in topic_partitions:
consumer.seek(tp)

try:
msg = None
while msg is None:
msg = consumer.poll(timeout=1.0)

consumer.commit(offsets=topic_partitions, asynchronous=False)
finally:
consumer.close()

коммит выдаёт что cimpl.KafkaException: KafkaError{code=_NO_OFFSET,val=-168,str="Commit failed: Local: No offset stored"}

хотя я в akhq ui для кафки вижу что лаг появился, хотя не до конца, не тот который я ожидаю

3 ответов

35 просмотров

через kafka admin api лучше, не через консюмер апи

Eugene-Zakharov Автор вопроса
Yegor
через kafka admin api лучше, не через консюмер апи

не нашёл примера через admin api, всё стараются через on_assign сделать, например тут https://developer.confluent.io/get-started/python/?_ga=2.211577683.772978707.1678800149-871619111.1672400887#build-consumer я вроде решил свою проблему с помощью https://github.com/confluentinc/confluent-kafka-python/issues/201#issuecomment-330773567

Eugene Zakharov
не нашёл примера через admin api, всё стараются че...

ой, я ошибся в го я бы подключился клиентом и напрямую запрос в апи кафки сделал без консюмера и вот этого всего

Похожие вопросы

Обсуждают сегодня

Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Всем привет. Нужна платная консультация от тех, кто сталкивался с октябрём в кластере или шарит оч хорошо в цмс. Проблема следующая: после переноса в кластер октябрь начал ...
wl
8
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
а я честно сказать не понимаю - нахуя идти учиться на вышку или еще куда-либо и при этом нихуя не делать, типа зачем ? просто корку получить, а нахуй она нужна тогда ?
Eugene Неелов
7
А сколько часов мак держит зарядку в рабочем режиме? Например мой Redmi Mac (просто наклейка от айфона осталась, налепил) по началу держал часов 5 с парой открытых штормов и ...
Ross
8
Ребят, а вот такой вопрос: если я владелец бота анонимного чата, в котором, например, имеются подписки, используя какую-нибудь ЮКассу (или тому подобное, в общем с налогами, в...
Eugene Неелов
8
зараз якщо створити файл core/custom/define.php з текстом <?php const NO_SESSION = true; можна позбутися сесійних кукі (що зручно, щоб не показувати людям банери про збір та в...
Artur Kyryliuk
1
Ребят, было ли у вас так, что переменные в WebApp —tg-viewport-height, —tg-viewport-stable-height после метода expand не обновляются, а остаются в размерах, как было до expand...
Black
3
я бы даже сказал не размер резюме, а слова, которые там написаны, потому что резюме может быть на несколько десятков страниц из-за 20 летнего опыта работы, но там в опыте буде...
Eugene Неелов
2
Карта сайта