Промежуточные топики при операциях KStream.map, KStream.transform, KStream.flatMap будут всегда создаваться?

т.е. в таких задачах полюбому будут новые топики, соответственно и забьёт дополнительно место на диске? хотелось бы понимать такие моменты, чтобы не выйти за рамки ресурсов

7 ответов

12 просмотров

Там есть методы с ключем или с value. Если методы с ключем repartition крайне возможен. KIP про оптимизации сходу не нашел - уточню в команде

𝕀𝕍- Автор вопроса
Vik Gamov
Там есть методы с ключем или с value. Если методы ...

Co-partition и re-partition это одно и тоже? https://medium.com/xebia-france/kafka-streams-co-partitioning-requirements-illustrated-2033f686b19c

𝕀𝕍- Автор вопроса
Vik Gamov
Нет

Тогда что есть что и где почитать про механизмы? 🤔 Так понимаб твой ответ был как раз про co-partition

𝕀𝕍
Тогда что есть что и где почитать про механизмы? 🤔...

всегда когда меняется key будет re-partition. Например selectKey, и это "тяжелая" операция в кафке

𝕀𝕍- Автор вопроса
VladMl
всегда когда меняется key будет re-partition. Напр...

хотелось бы понять как этот процесс происходит и какое влияние на диск по месту даст

Похожие вопросы

Обсуждают сегодня

Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
8
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Я правильно понимаю что нет способов получить список ожидающих заявок на вступление в группу с помощью бота из mtproto?
Шамиль Прилов
7
Добрый день. Мне посоветовали обратиться к вам в чат за помощью. Ситуация описана на скрине. Как мне сказали, мне на бота навесили флудвейт. Есть ли возможность снять его ра...
OVERLINK
7
всем привет помогите пожалуйста используя CDN (GCP) у игроков из вьетнама загружается конфиг (размер 999 bytes) загружается 5 и более минут н а других CDN сервисах такой пробл...
Andrew Krw.
1
Просто по очереди выпиливаешь на ручной маппинг? По методу за раз
Andrii Kurdiumov
7
Приветствую. А не подскажете какие ограничения есть на использования api метода setMyName ? Несколько раз сменил имя бота и получил бан на 2 месяца на смену имени.
Slick Slack
8
Привет, коллеги! Возникла задача ограничить максимальный размер вложений для определённых расширений, например, чтобы для изображений лимит был 10 МБ, а для видео — 100 МБ. Ог...
Andro
1
Всем привет! Взялся портировать модули на 18 версию, лезет _logger.log(log_level, 'no translation language detected, skipping translation %s', frame, stack_info=True) А чт...
Max Lit
3
Доброе утро, а кто то делал Google аналитику через php ? curl_setopt($ch, CURLOPT_NOSIGNAL, true); Это должно быть async без ожидания ответа. Вообще php нормально с таким с...
Max Dubovsky
9
Карта сайта