Ооо, тут есть жизнь))) Тогда вопрос, если планируется овер дофига разных

типов документов передавать, рационально делать под каждый тип документа свой консьюмер?

А с ними делать планируется?

не плодите сущности без надобности) если никаких доп требований нет, то не рационально p.s. тут как с переменными - если и без них всё работает - зачем?)

В этой надобности и вопрос) Можно изначально раскладывать документы по топикам, для каждого типа свой топик и свой консьюмер, или же скидывать все условно в несколько больших топиков и читать меньшим числом консьюмеров, но затем проводить валидацию и сортировку

если вам нужно обрабатывать эти стримы документов независимо друг от друга - тогда обосновано. а если нет, и у вас все документы могут быть обработаны как одна большая очередь FIFO - то это пока вам не нужно, кажется. p.s. параллелизм можно и в одном топике партициями накрутить

А можно же натравить NiFi и роутить в зависимости от типа пэйлопда?

Че то у меня от жаргонизмов шарики за ролики заехали😂

можно брэд послайсить и заспредить по нему баттером, а сверху закаверить это дело сосиджем. получим бьютифульный сэндвич, очень тейсти ничего, что я по-английски?

А из nifi слать в разные очереди на рэббите, тоже роутя что ни попадя куда ни попадя, за ним поставить кафка коннект и забирать обратно в кафку, но уже всё в один топик, а дальше выгребать ещё одним коннектом в таблицу в БД, и разбирать её снова найфаем. Можно. Разрешаю. А зачем?

😂😂😂

в этой схеме не хватает RedPanda, Spark и Hadoop