Подскажите, а кто-нибудь пользовался ReactiveKafkaConsumerTemplate спринговым? Есть успешные кейсы?

Или может как то иначе реализовывал логику вычитать из кафки -> сходить по http за данными -> отправить в кафку на реактивном стеке?

10 ответов

25 просмотров

Что значит "успешные кейсы" 😅? Можно иначе реализовать на коннекторах и стримах но в общем случае тяжело сказать

А что, руками сделать хттп запрос слишком сложно/неудобно?

Cliff- Автор вопроса
Dead End
А что, руками сделать хттп запрос слишком сложно/н...

тогда получается скорость обраобтки сильно зависит от скорости обращения по http. Если каждое сообщение обрабатывать последовательно. Если вычитанную пачку параллелить руками, то не совсем понятно как работать с оффсетами, т.е. вычитали 3 сообщения, первые 2 упали по таймауту, третье обработалось. нельзя же закоммитить оффсет третьего, если нужно выполнить репроцессинг первых двух. И вот эту логику хотелось бы иметь от фреймворка, а не реализовывать руками.

Cliff
тогда получается скорость обраобтки сильно зависит...

Зависит от гарантий консистентности, которые нужны. Абсолютно ничто не мешает складывать запросы в очередь и не тормозить поток. Ещё нужен верхний предел на эту очередь, чтобы не ебануло под Новый Год из-за хайлоада.

Cliff
тогда получается скорость обраобтки сильно зависит...

Но вообще звучит как именно логика, которую надо делать руками под себя и тестировать.

Cliff
тогда получается скорость обраобтки сильно зависит...

Так можно вытягивать по одному из разных партиций параллельно, в чем беда?

Cliff- Автор вопроса
Phil Delgyado
Так можно вытягивать по одному из разных партиций ...

отазываться от вычитки из кафки батчем тоже не хотелось бы

я видимо как-то упустил из виду, но наконец в spring-kafka добавили reactor-kafka?

Cliff- Автор вопроса
Dima
я видимо как-то упустил из виду, но наконец в spri...

Появилось 2 класса org.springframework.kafka.core.reactive.ReactiveKafkaConsumerTemplate, org.springframework.kafka.core.reactive.ReactiveKafkaProducerTemplate с версии spring-kafka 2.3 которые являются оберткой над reactor-kafka. Но на этом, похоже, все. Примеров по их использованию так и не нашел.

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта