Как продюсеры пишут без инстинк реплик? Acks 1 стоит?

да, там на продюсерах стоит acks=1. Еще обратил внимание, что есть два вида продюсеров ярко выделяются. Одни настроены так, чтобы пачки набирать и раз в 5 секунд сбрасывать, а другие наоборот судя по графикам пишут почти каждое сообщение. но на последних rps маленький где-то 250 - тут разработчиков попросил настроить по-приличнее, чтобы батчами писали. Не знаю могут ли такие продюсеры, которые по одному сообщению за реквест отправляют забить какие-то буферы кафки? пока так глубоко не изучил потроха кафки...

Батчить перед кафкой, чисто каеф, в стриминговый транспорт кидаем батчи, как будто в клик заливаем, мда. Если так то считаем сумму всех такого рода потенциальных батчей, множим на всякий на два - и это минимум хипа чтобы прожевать. Если еще хочется отдавать не с диска, то еще накидываем. Хз что тут по потоку трафика пикового, но реально похоже на уход в гц с отвалами изза недостатка памяти. Тут как обычно для любой жабки постоянно включенное логирование гц и не в метрики, а в файлы логов, чтоб потом разгребать такие проблемы.

Данные, отдаваемые из памяти (а не с диска), не хранятся же в хипе - для них используется оставшаяся свободная память на сервере

Файловый кеш же?

Стикер

ну так и оставьте решать это стандартному продьюсеру и не занимайтесь этим вручную. В стандартном продьюсере хотя бы уже есть куча ручек которые можно почитать как крутить чтобы получить контролируемое поведение или поменять если потребуется

если у вас нет того же ssl, то да с зерокопи действительно данные не пойдут через хип. Но я уже лет 5 нигде не видел чтобы гонялся не шифрованный трафик

Я просто не увидел где у автора было про то, что там самописный батчинг. Он указал лишь что консумеры раз в 5с пишут батчами