Всем привет. Вопрос про avro vs json. (пишем на scala) Мы

только начинаем внедрять кафку в наш продукт и экосистему осваиваем постепенно.
Наши реализованные кейсы:
1) расшаренные справочники. Льем их в кафку из основного монолита, остальные микросервисы их читают.
2) вопрос - ответ

В ближайших планах:
3) очередь на запись\изменение справочников из разных источников в монолит
4) данные с датчиков (тут данных реально много)

Сейчас все гоняется json'ами, написаны сериализаторы и case классы, распространяются в виде артефакта.

Смотрим в сторону avro/
Оставшиеся вопросы:
1) как генерить case классы автоматом ? нашел https://github.com/sksamuel/avro4s
Кто что использует ?

2) какими тулзами просматривать avro ? прям топики, для дебага или выяснения инцидентов.
сейчас смотрим через http://www.kafkatool.com

3) общие мысли: насколько avro лучше\хуже json'а и т.д.?

1 ответов

5 просмотров

У меня сейчас монолит и микросервисы. Монолит и большинство микросервисов на Python, часть (ну и стримпроцессоры) на Java. Использую Avro, собственно потому что совершенно предсказуемая [де]сериализация, эволюция схем и т.д. Схемы к топику _не_ привязаны. У ключей, кстати, тоже, потому что у некоторых классов сообщений ключ "составной".

Похожие вопросы

Обсуждают сегодня

Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
Добрый день, подскажите как правильно сделать filter в backend-e. Есть модель (товар) у который связь belongsToMany (компания), компаний > 4k, поэтому выборку типа ->all(); н...
Max Dubovsky
7
А цены чем оправданы?
Lencore
7
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
напомните, как заменить placeholder , а не добавить содержимое ?
Artem N
4
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
Всем привет. Нужна платная консультация от тех, кто сталкивался с октябрём в кластере или шарит оч хорошо в цмс. Проблема следующая: после переноса в кластер октябрь начал ...
wl
8
В чем отличие vdsina ru и com?
Lencore
3
Карта сайта