Подскажите плз по kafka либе sarama, как правильно сделать коммит

Question

Подскажите плз по kafka либе sarama, как правильно сделать коммит

вручную если
config.Consumer.Offsets.AutoCommit.Enable = false
? Чем отличаются
session.MarkMessage
и
session.Commit
? Почему вызов Commit ни на что не влияет?

#backend #go #programming #russian

0

02.12.2020

7 ответов

34 просмотра

Andrei 🦉 Sergeev

а Commit - сохраняет в брокер помеченные оффсеты, если вы ничего не пометили, то и сохранять нечего https://github.com/Shopify/sarama/blob/master/consumer_group.go#L519

0

02.12.2020

Konstantin Автор вопроса

Andrei 🦉 Sergeev
а Commit - сохраняет в брокер помеченные оффсеты, ...

Почему то если автокоммит выключен достаточно только помарчить оффсеты и при следующем запуске эти сообщения уже не придут

0

02.12.2020

Andrei 🦉 Sergeev

Konstantin
Почему то если автокоммит выключен достаточно толь...

ну если вы сами Commit вызвали после того, как помарчили сообщения, то оно так и должно работать если не вызывали, то можно посмотреть в исходники, в Close вполне может быть явный вызов Commit а вообще какая у вас задача? зачем вам нужно имеено руками комитить, а не двигать оффсет?

0

02.12.2020

Konstantin Автор вопроса

Andrei 🦉 Sergeev
ну если вы сами Commit вызвали после того, как пом...

в том то и дело что Commit не вызываю. Задача валить сервис при ошибке, чтобы при следующей итерации сервиса попробовать еще раз обработать сообщение, сейчас у нас логика реализована на либе confluent-kafka-go, но я присматриваюсь в сторону sarama, хочу переписать логику на эту либу, но смутил этот критичный момент с автокоммитом, притом что логика работы не понятна не только мне: https://github.com/Shopify/sarama/issues/1570

0

02.12.2020

Andrei 🦉 Sergeev

Konstantin
в том то и дело что Commit не вызываю. Задача вали...

а в чем проблема не помечать оффсет, пока сообщение не будет обработано?

0

02.12.2020

Konstantin Автор вопроса

Andrei 🦉 Sergeev
ну если вы сами Commit вызвали после того, как пом...

Да, там реально в close вызывается flushToBroker, спасибо за наводку

0

02.12.2020

Andrei 🦉 Sergeev · Accepted Answer

config.Consumer.Offsets.AutoCommit.Enable настройка отвечает за автокоммит помарченных оффсетов в фоне соответственно обычно эту настройку оставляют включенной, а обработанные оффсеты помечают через session.MarkMessage, чтобы потом в фоне они могли быть закомиченны

170 похожих чатов

Подскажите плз по kafka либе sarama, как правильно сделать коммит

7 ответов

Похожие вопросы