Или может как то иначе реализовывал логику вычитать из кафки -> сходить по http за данными -> отправить в кафку на реактивном стеке?
Что значит "успешные кейсы" 😅? Можно иначе реализовать на коннекторах и стримах но в общем случае тяжело сказать
А что, руками сделать хттп запрос слишком сложно/неудобно?
тогда получается скорость обраобтки сильно зависит от скорости обращения по http. Если каждое сообщение обрабатывать последовательно. Если вычитанную пачку параллелить руками, то не совсем понятно как работать с оффсетами, т.е. вычитали 3 сообщения, первые 2 упали по таймауту, третье обработалось. нельзя же закоммитить оффсет третьего, если нужно выполнить репроцессинг первых двух. И вот эту логику хотелось бы иметь от фреймворка, а не реализовывать руками.
Зависит от гарантий консистентности, которые нужны. Абсолютно ничто не мешает складывать запросы в очередь и не тормозить поток. Ещё нужен верхний предел на эту очередь, чтобы не ебануло под Новый Год из-за хайлоада.
Но вообще звучит как именно логика, которую надо делать руками под себя и тестировать.
Так можно вытягивать по одному из разных партиций параллельно, в чем беда?
отазываться от вычитки из кафки батчем тоже не хотелось бы
я видимо как-то упустил из виду, но наконец в spring-kafka добавили reactor-kafka?
Появилось 2 класса org.springframework.kafka.core.reactive.ReactiveKafkaConsumerTemplate, org.springframework.kafka.core.reactive.ReactiveKafkaProducerTemplate с версии spring-kafka 2.3 которые являются оберткой над reactor-kafka. Но на этом, похоже, все. Примеров по их использованию так и не нашел.
да я вспомнил этот тикет
Обсуждают сегодня