Подскажет кто, есть kafka-appender, на вход передаём только topic и

boostrap.servers, он дальше сам контролирует процесс отправки логов в кафку, т.е это нормально? или отсутствие контроля может к проблемам привести?

upd. log4j

В лог будет писать log4j или чего там у вас. В этом и смысл что не надо ничего самому контролировать. Я бы лично так не делал - лучше console appender а потом каким нибудь file connector -ом в кафку

log4j

А почему, если не секрет?

Слишком много зависимостей от инфраструктуры в приложении. Например Ялты стартануть приложение кафка должна уже бежать. А если приложение кафку не юзает а надо логи только в кафку писать. Кмк это просто усложнение архитектуры без особой надобности

Спасибо

В таком варианте в кафку класть файлы уже нет смысла

Не, писать кафку не файлы и записи из лога

при большом объёме логов, промежуточная запись в console appender может стать "узким" местом, будет лишняя дисковая активность (сначала один пишет, потом второй читает) по сравнению с отправкой в сеть да и console appender можно как фоллбэк сделать, для случаев когда кафка будет недоступна

Появился дополнительный вопрос, 1 Pod == 1 партиция, в моём понимании, не будет ли увеличиваться количество партиций при увеличении количества подов? - Как бы партиции не резиновые, тут не ясно. upd.

Не понятно... что значит 1 pode == 1 партиция? Pod чего? Консьюмера? Брокеров? Продьюсера?

Pod моего приложения + С моим приложением наверняка kafka-appender поднимет продюсера

+ Заметил, что при отправке логов, в топике 1 партиция