Всем привет! подскажите, пожалуйста, по правильности подхода: необходимо через кафку пролить

большой объем данных. продюсер создается в рантайме, количество партиций задается тем, кому нужно пролить данные. делаю количество продюсеров = количеству партиций, то есть, я делаю отправку всего объема сразу во все партиции отдельным продюсером на партицию. перерыл документацию по продюсерам, в целом, не нашел указаний из серии "так делать атата". батчу увеличиваю до 1мб, ack=1. порядок отправки не важен, т.к. переливаю множество обособленных объектов. если я правильно понимаю, то единственное отличие продюсера с партицией от продюсера без партиции - это то, что брокер определяет в какую партицию слать сообщение. если смотреть на производительность, то 1 продюсер на 5 партиций 45к объектов пересылает за 170сек, а 5 продюсеров на 5 партиций за 43сек

ну и собственно вопрос. есть ли какие-то нюансы при подобном подходе, потому что время проливки отличается в разы? (утилизацию ресурсов сервисом, выполняющим работу, не берем в рассмотрение, понятно, что при 5 параллельных продюсерах ресы тратятся значительно бодрее)

2 ответов

9 просмотров

вы можете отдать на откуп брокеру выбор партиции для сообщения, если нет каких-то отдельных требований если необходимо, чтобы определенные сообщения падали с одну партицию - достаточно им всем один ключ присвоить либо реализовать свой партишионер писать во все партиции можно как одним, так и несколькими брокерами

Похожие вопросы

Обсуждают сегодня

Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
А сколько часов мак держит зарядку в рабочем режиме? Например мой Redmi Mac (просто наклейка от айфона осталась, налепил) по началу держал часов 5 с парой открытых штормов и ...
Ross
8
Ребят, было ли у вас так, что переменные в WebApp —tg-viewport-height, —tg-viewport-stable-height после метода expand не обновляются, а остаются в размерах, как было до expand...
Black
3
Ребят, а вот такой вопрос: если я владелец бота анонимного чата, в котором, например, имеются подписки, используя какую-нибудь ЮКассу (или тому подобное, в общем с налогами, в...
Eugene Неелов
8
Кто-нибудь пробовал? Заявлена поддержка ИИ
Александр Калин
2
Гнева и тупости пост. Как блять можно работать с маркетологами? Их в детстве всех родители случайно цепляли об дверные откосы? Поступила таска, на сайте "лишний счетчик Google...
Igor
4
Вообще сейчас эти все провайдеры облаков оборзели. Если тебе нужно 4 ядра и 4 гб., хер где такую конфигурацию найдешь. Суют тебе сразу либо 8гб. либоа сразу 16 гб., они мне на...
Igor
4
Короче получается только кнопки не поменять А кнопки вроде тоже слетают при редактировании не?
inc.
10
Карта сайта