Всем привет. Подскажите пожалуйста, какие внутренние механизмы kafka можно использовать,

чтобы поверить\гарантировать целостность доставки сообщения? Т.е. убедиться в том, что консюмер читает ровно то сообщение, что положил продюсер, и байтики по ходу передачи нигде не подменились? Или это можно выполнить только внешними инструментами?

Ну внутренних нет, ты же не доверяешь самой кафке (админ может всё), таким образом только делать подпись цифровую - например s mime/ pkcs#7...

https://kafka.apache.org/documentation/#messageformat Там crc32 хранится в батче

Таки гарантий что на самой кафке кто-то что-то не сделал это ж не даст... Если читать вопрос прям вот дотошно

Ну да, Кафке вообще пофиг на ваши бантики. Что пришло то и положили на диск

То что нужно. Где можно почитать, где и как он проверяется?

Это не то что нужно, вы ж пишите про e2e гарантии

Да, необходимо e2e в пределе. Но хотелось бы узнать ЖЦ crc. Если формируется на уровне producer, и проверяется на уровне consumer. То скорее всего этого будет достаточно. Зловред не рассматриваю. Только случайную подмену из-за сбоя.

И какие это гарантии даст вам в части e2e ? Я вам также crc рассчитаю посередине без проблем, это даже не hmac

Да, вы скорее правы. А если без зловреда? На каком этапе\этапах осуществляется формирование crc и его проверка? Но всё идет к тому, что чтобы обеспечить e2e проще рассчитать свою сумму и протягивать его вместе с собщением. Или все-таки можно иначе? С условиями и ограничениями?