одном сообщении список сущностей, вместо одной?
Нюанс в том что вы не сможете частично закоммитить оффсет - если вы смогли обработать часть списка, то вы либо будете опять все сообщение читать без коммита либо больше не прочитаете с коммитом. Если вам пофиг на это, то и норм.
Ограничение в 1мб. Лучше писать пачку сообщений батчем и батчем же читать. Будет сильно эффективнее и проще
нет ограничения в 1 мб, и 30 спокойно можно
Всего в 4 местах настройки подкрутить нужно
и в чём проблема?
По дефолту есть. Ну и как бы жирные сообщения это антипаттерн.
хз нап счёт антипаттерна, если много данных, то при мелких вообщениях меньше проходимость
хех, такой же паттерн только он дает больше throughput причем иногда на порядки в то время как малые отдельные они про уменьшение latency в ущерб throughput
Трупут можно же батчами накрутить
можно, но это вопрос про проектирование всей системы - нужны НФТ чтобы ответить что лучше, а то может тут один файл раз в день кидается, то можно как угодно сделать
Если там 1 файл то нахрена там Кафка
всякое бывает, из соседнего отдела надуло, CTO гдето услышал, просто хочется навык работы с кафкой получить на реальной задаче, да куча вариантов где кафка не к месту и только добавляет проблемы, но используется)
Обсуждают сегодня