Ребят, всем привет! Python, библиотека kafka-python. Вопрос такой: Отправляю джейсоны в кафку, большое

количество.
Сперва отправлял list джейсонов вот так:

kafkaproducer.send(list_of_json)
Все отправлялось очень быстро

Потом получил требования от консьюмера, что он может читать только по одному джейсончику в сообщении, т.е. отправлять нужно так:

for msg in list_of_json:
kafkaproducer.send(msg)

это оказалось ОЧЕНЬ долго, все висит, отваливается, компуктер умирает.

Вопрос:
Можно ли как-то настроить kafkaproducer чтобы я складывал в него list сообщений, а он под капотом как-то отправлял их по одному?
т.к. мне кажется, что основная проблема в куче подключений/питоновских циклах и т.д.

Либо есть другой способ складывать лист сообщений в продьюсера так, чтоб они в итоге оказывались в кафке отдельными сообщениями?

Попробуй установить linger_ms=10ms для продюсера