Ребят, можно сделать чтобы в кафке при получении данных она

их валидировала?

согласно схеме? avro или еще что-то там

ну чтобы согласно определенному json приходили данные. Потом уже чистые данные отправлять другим

json вообще юзать не стоит, смотрите либо авро либо протобаф

А с чем связано?

медленнее, больше требует ресурсов, плохо оптимизировано, не имеет наследования

со снаппи пойдет, а насчет медленнее я очень бы поспорил

снаппи отстой, zstd сильно лучше. и ммедленее в разы, с json схемой хрен петабайт за сутки через 8 нод прогонишь

зстд на сжатии или разжатии(не помню) медленнее

на всём быстрее, снаппи устаревший тип сжатия, сейчас lz4 либо zstd

Спасибо

в любом случае ключи отлично жмутся любой из компрессий а джсон парсеры сейчас быстрее любого авро работают

он быстрее только если кто то использует кривые орм по типу джанги и не хочет настраивать продюсеры и консумеры

ну и о каких петабайтах там идет речь?)

Жсон работает медленнее авро , но у авро есть схема, а у жсона ее нет

какой язык?

Любой

любой кроме питона и пхп

А, ну, попробуйте go

пробовали, переход на авро +450к сообщений в секунду

Жду бенч и там не 2 числа в сообщении должно быть

у меня секйчас в проектах джава и раст))))

Да причем тут бенч, это общая наука

от реализации многое зависит и порой сложности со схемами излишни

Там изначальный запрос про валидацию схем

Нет, при получении сама Кафка ничего с данными не делает, не умеет делать и нет такой у нее функциональности в части какого то преобразования, проверки и тд. Это делается при отправке данных самими продюсерами.

Ну вообще-то есть вот это: https://docs.confluent.io/platform/current/schema-registry/schema-validation.html Но это, конечно, только в платном конфлюэнте.

Нет, тут речь шла при получении, а не отправке

А это и есть при получении. Когда брокер получает сообщение от продюсера.

Да, накрутили они в своей версии Кафки, но во обычной, опенсорсной от апач такого функционала нет