Подскажите, а кто-нибудь пользовался ReactiveKafkaConsumerTemplate спринговым? Есть успешные кейсы?

Или может как то иначе реализовывал логику вычитать из кафки -> сходить по http за данными -> отправить в кафку на реактивном стеке?

10 ответов

10 просмотров

Что значит "успешные кейсы" 😅? Можно иначе реализовать на коннекторах и стримах но в общем случае тяжело сказать

А что, руками сделать хттп запрос слишком сложно/неудобно?

Cliff- Автор вопроса
Dead End
А что, руками сделать хттп запрос слишком сложно/н...

тогда получается скорость обраобтки сильно зависит от скорости обращения по http. Если каждое сообщение обрабатывать последовательно. Если вычитанную пачку параллелить руками, то не совсем понятно как работать с оффсетами, т.е. вычитали 3 сообщения, первые 2 упали по таймауту, третье обработалось. нельзя же закоммитить оффсет третьего, если нужно выполнить репроцессинг первых двух. И вот эту логику хотелось бы иметь от фреймворка, а не реализовывать руками.

Cliff
тогда получается скорость обраобтки сильно зависит...

Зависит от гарантий консистентности, которые нужны. Абсолютно ничто не мешает складывать запросы в очередь и не тормозить поток. Ещё нужен верхний предел на эту очередь, чтобы не ебануло под Новый Год из-за хайлоада.

Cliff
тогда получается скорость обраобтки сильно зависит...

Но вообще звучит как именно логика, которую надо делать руками под себя и тестировать.

Cliff
тогда получается скорость обраобтки сильно зависит...

Так можно вытягивать по одному из разных партиций параллельно, в чем беда?

Cliff- Автор вопроса
Phil Delgyado
Так можно вытягивать по одному из разных партиций ...

отазываться от вычитки из кафки батчем тоже не хотелось бы

я видимо как-то упустил из виду, но наконец в spring-kafka добавили reactor-kafka?

Cliff- Автор вопроса
Dima
я видимо как-то упустил из виду, но наконец в spri...

Появилось 2 класса org.springframework.kafka.core.reactive.ReactiveKafkaConsumerTemplate, org.springframework.kafka.core.reactive.ReactiveKafkaProducerTemplate с версии spring-kafka 2.3 которые являются оберткой над reactor-kafka. Но на этом, похоже, все. Примеров по их использованию так и не нашел.

Похожие вопросы

Обсуждают сегодня

Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
с помощью чего можно бота добавить как админа в чат? (условно в боте есть кнопка, нажатие на которую приводит тебя к выбору чата и выдаче прав боту)
ηє νєямσяє
5
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
Добрый день, подскажите как правильно сделать filter в backend-e. Есть модель (товар) у который связь belongsToMany (компания), компаний > 4k, поэтому выборку типа ->all(); н...
Max Dubovsky
7
А как заставить поиск искать? Есть такая формочка <select class="form-control custom-select" name="brand_id" data-handler="onGetBrands"></select>
Денис Александрович
5
А цены чем оправданы?
Lencore
7
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
напомните, как заменить placeholder , а не добавить содержимое ?
Artem N
4
Карта сайта