Здравствуйте. Ищу способ стримить начальное состояние плюс изменения для выборок данных

Question

Здравствуйте. Ищу способ стримить начальное состояние плюс изменения для выборок данных

(OLTP, длится ограниченное время) в клиент необязательно из jvm мира (сейчас рассматриваем nodejs). Состояние строится по событиям из кафки. Изначально думал воспользоваться KSQL push query с SET 'auto.offset.reset' = 'earliest', но наткнулся на статью https://www.jesse-anderson.com/2019/10/why-i-recommend-my-clients-not-use-ksql-and-kafka-streams/. На текущих нагрузках это может не быть проблемой, но хотелось бы более future-proof/production-ready решение. Среди рассмотренных вариантов также calcite (но там вроде только jdbc для клиента), materialize (в целом не уверен + push based get data out через топик кафки, а нужно в клиент). Если хорошего варианта с SQL-подобным интерфейсом нет, то подойдет и jvm-ный процессинг, но также, как и в KSQL push query нужно делать запрос к текущему состоянию + подписку на изменения, а не вычитывать все состояние/подписываться на все изменения таблицы/топика/... и на клиенте разбирать. Также хочется избежать лонг поллинга и работать именно с пушем данных в клиент (websocket/http2 streaming/*mq/...).

Подскажите пожалуйста, в сторону каких вариантов можно посмотреть, или, возможно, я что-то упускаю при рассмотрении вышеперечисленных?

#kafka #russian #software

0

06.10.2020

2 ответов

19 просмотров

NB

Да Да Да это это

0

09.10.2020

Dead End · Accepted Answer

Dead End

Я ничо не понял. Можешь ещё раз четко разложить, что у тебя сейчас в Кафке и что ты пытаешься сделать?

0

06.10.2020

52 похожих чатов

Здравствуйте. Ищу способ стримить начальное состояние плюс изменения для выборок данных

2 ответов

Похожие вопросы