Привет! Вопрос по tarantool-kafka. Консумер, ручной коммит оффсета, кейс такой

Question

Привет! Вопрос по tarantool-kafka. Консумер, ручной коммит оффсета, кейс такой

Получаем сообщение
обрабатывает
Если все хорошо - consumer:store_offset(msg)
Иначе - consumer:seek_partitions({ { msg:topic(), msg:partition(), msg:offset() } })
Все как в учебнике.

Проблема возникает тогда когда в топике есть еще одно сообщение, следующее за тем, которое вызывает ошибку, из той же патриции и оно всегда будет лежать в channel даже после того как я делаю seek на ошибочное, цикл консумера получает его из следующего out:get(), обрабатывает и комитет оффсет.
потом в channel опять прилетает пачка сообщений

error
success
success

и так по кругу пока не ребутнешь инстанс и в этом случае ошибочное сообщение в принципе пропускается потому что ребут чаще всего происходит после коммита успешного, а не отката через seek

Хочется тут что-ли чистить channel каждый раз как натыкаешься на ошибку и откатываешь консумер, но такого api у fiber_channel нет.
Либо есть другие решения?

#database #programming #russian #software #tarantool

0

12.05.2023

4 ответов

23 просмотра

2xS Автор вопроса

в принципе это можно пофиксить если сделать грязный хак в виде переноса цикла из метода https://github.com/tarantool/kafka/blob/master/kafka/init.lua#L64 к себе и вызывать consumer._poll_msg_fiber:cancel() перед ними делать break цикла если возникла ошибка, но в случае с множественными партициями надо еще навернуть внутри группировку по ним - тогда зависнет только одна партиция, а не весь топик. Выглядит пока как структурный баг в tarantool-kafka, так кафку консумить нельзя 🙂

0

12.05.2023

2xS Автор вопроса

Andrei 🦉 Sergeev
а можно чуть подробнее нафига вот эта вторая опера...

ну если ты получил сообщение и сервис кувыркается на его обработке, а ты не хочешь его терять - ты говоришь кафке чтобы в следующий poll она отдала тебе сообщения с этого же оффсета, потому что ты не можешь двигаться дальше.

0

12.05.2023

Andrei 🦉 Sergeev

2xS
ну если ты получил сообщение и сервис кувыркается ...

так а консьюмер вы стопаете?

0

12.05.2023

Andrei 🦉 Sergeev · Accepted Answer

Andrei 🦉 Sergeev

а можно чуть подробнее нафига вот эта вторая операция seek?

0

12.05.2023

215 похожих чатов

Привет! Вопрос по tarantool-kafka. Консумер, ручной коммит оффсета, кейс такой

4 ответов

Похожие вопросы