ли я понимаю, что есть 2 варианта:
1) увеличивать буферы и batch.size на продьюсере и message.max.bytes на брокере
2) увеличить max.in.flight.requests.per.connection и буферы?
Привет. max.in.flight.requests.per.connection не думаю что поможет. Повышать batch.size и на продьюсере увеличивать размер сообщения. Но не стоит забывать, о том, что размер сообщения будет для всех увеличен. Может сказаться на производтельности
вот как раз и хочу попробовать увеличить количество запросов одновременных, так как запас по сети есть а продьюсер просто сидит и ждет пока брокер пришлет ack на дефолтные 5 одновременных message по мегабайту каждое :)
из твоего прошлого сообщения понял, что тебе нужно слать сообщения большого объема, а не просто большую скорость на запись сделать))
в этом кейсе да, должно помочь
стало лучше, но все равно в 2 раза медленнее чем в локальную кафку писать похоже пора расчехлять отладчик
А остальные настройки у продюсера подтюнены? Был хороший ролик от Кошелева Григория. По разгону продюсера
Обсуждают сегодня