Pavel Savchenko

Добрыйдень. Смотрим KSQL. Хотим сделать lookup из стрима (через join) на статичную таблицу. В результате данных не видно, потому как offset для TABLE работает как и у STREAM, ...

Коллеги, на последнем митапе на вопрос "Материализуются ли TABLE и STREAM в KSQL?", ответили что да, в compacted-topic-ах. Попробовал версию 4.1, топиков никаких не вижу. И за...

Привет, кто нибудь решал задачу дедубликации в кафке? Нужно брать первое сообщение с ID, последующие дубли ID отбрасывать. Смотрю в сторону Streams/Connect, но может что готов...

Это же Confluent? В OpenSource версии такого нету - значит таки платный. К тому же experimental 😀

А, что же вы сразу не сказали что нужно на жаве говнокодить)) Так все можно сделать. А про pig с ozzie я промолчу 🙈 Вы сообществом не ошиблись? 😉 Тут вроде как про стриминг.

И еще вопрос, есть ли GUI для KSQL?

А альтернатива - это кастомный код запихивания из Stremaing API в HDFS? Или есть еще варианты?

А разве KSQL умеет с ключами в авро работать?

Это реально в кафка-стримах вообще, или я не туда копаю? ☺

А как тогда заморозить offset для TABLE на "earliest?

Будете поглощать? 😄