Добрый день! Подскажите, при использовании стримов можно автоматически делать репартишн

топиков, на основе чего принимается решение по репартишн и итоговому количеству?

"Kafka Streams optimizations are an attempt to automatically make Kafka Streams applications more efficient by reorganizing a topology based on the inital construction of the Kafka Streams application. Right now there are two possible optimizations, reusing the source topic as a changelog topic for a KTable created directly from an input topic. The second optimization is merging multiple repartiton topics into one repartition topic when there mulitple grouping or join operations after a key-changing operation."

5 ответов

23 просмотра

Надо кип искать. Пока зацепка только KIP-295. А в чем собственно вопрос - понять какие оптимизации Kstreams делают?

𝕀𝕍- Автор вопроса
Vik Gamov
Надо кип искать. Пока зацепка только KIP-295. А в ...

да, хотелось бы понять механизм, т.е. если делается репартишн, то добавляются избыточные топики, означает ли это, что будет пропорциональный рост объёма данных на диске?

𝕀𝕍
да, хотелось бы понять механизм, т.е. если делаетс...

Наоборот - оптимизацию топологии делают чтобы меньше топиков создавать промежуточных

𝕀𝕍- Автор вопроса
Vik Gamov
Наоборот - оптимизацию топологии делают чтобы мень...

вот где бы найти описание механизма репартиций

𝕀𝕍
вот где бы найти описание механизма репартиций

Давай с начала - repartition это процесс через который проводят стрим чтобы привести его к виду который, например, приготовит его для join. Ну т.е. исходный топик и топик для join могут иметь разное кол-во partitions и сходу join не сделать.

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта