Доброго дня. Подскажите, пожалуйста, насколько хорошо/плохо в кафку отправлять в

одном сообщении список сущностей, вместо одной?

12 ответов

6 просмотров

Нюанс в том что вы не сможете частично закоммитить оффсет - если вы смогли обработать часть списка, то вы либо будете опять все сообщение читать без коммита либо больше не прочитаете с коммитом. Если вам пофиг на это, то и норм.

Ограничение в 1мб. Лучше писать пачку сообщений батчем и батчем же читать. Будет сильно эффективнее и проще

Anatoliy
Ограничение в 1мб. Лучше писать пачку сообщений ба...

нет ограничения в 1 мб, и 30 спокойно можно

Старый Хрыч
нет ограничения в 1 мб, и 30 спокойно можно

Всего в 4 местах настройки подкрутить нужно

Старый Хрыч
нет ограничения в 1 мб, и 30 спокойно можно

По дефолту есть. Ну и как бы жирные сообщения это антипаттерн.

Ivgenich
По дефолту есть. Ну и как бы жирные сообщения это ...

хз нап счёт антипаттерна, если много данных, то при мелких вообщениях меньше проходимость

Ivgenich
По дефолту есть. Ну и как бы жирные сообщения это ...

хех, такой же паттерн только он дает больше throughput причем иногда на порядки в то время как малые отдельные они про уменьшение latency в ущерб throughput

Ivgenich
Трупут можно же батчами накрутить

можно, но это вопрос про проектирование всей системы - нужны НФТ чтобы ответить что лучше, а то может тут один файл раз в день кидается, то можно как угодно сделать

Старый Хрыч
Если там 1 файл то нахрена там Кафка

всякое бывает, из соседнего отдела надуло, CTO гдето услышал, просто хочется навык работы с кафкой получить на реальной задаче, да куча вариантов где кафка не к месту и только добавляет проблемы, но используется)

Похожие вопросы

Обсуждают сегодня

Всем привет. Подскажите, почему не меняется значение поля при переключении сайта?
Alexander Peterikov
11
Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
Приветствую друзья, подскажите сколько в среднем стоит на данный момент создать тг бота который будет как магазин? Показывать ассортименты доставлять заказы и тд? Все по станд...
Eugene
3
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
А вот из практических задач на работе, кто работает расскажите относительно задач на работе, как вообще выживаете. Если есть желание, интересно тоже что и как сейчас с этим . ...
...
2
Привет. На сайте с видео установлена защита, не позволяющая скачивать видео, делать скриншоты и скринкасты, но это работает только с пк и устройств эпл. С андроида работают ск...
Lencore
1
Добрый день! Кто-нибудь знает как подключить твиг в контроллеры плагина?
Николай Афанасенко
5
@dblackCat Привет. Это же твой плагин? https://octobercms.com/plugin/catdesign-productbundle
Alexey Yakimov
5
Карта сайта