Ребят, всем привет! Помогите пожалуйста с настрйоками кафки У меня сервер с

эирфлоу (12 ядер, 48гб ОЗУ), который раз в час запускает чтение сообщений из КХ и отправку их в кафку.
Отправляю с помощью Авро.

Мне нужно хотя бы за полчаса отправить более 160 млн сообщений.
Использую AvroProducer из confluent_kafka (питон)

Сейчас параметры отправки такие:

# отправляю в 12 тредах, каждый из которых читает из базы по 5 минутному интервалу
threading_minutes_intervals=[(x, x + 4) for x in range(0, 60) if x % 5 ==0],

# Делаю флаш раз в миллион сообщений. Пробовал промежуточные флаши убрать, оставить только финальный. но скорости не прибавило
flush_chunk_size=1000000,

kafka_update_config={
"compression.type": "snappy",
"batch.size": 524288, # поставил побольше, думал продьюсер будет набирать, и отправлять пакетами бОльшего размера
"linger.ms": 1200,
"batch.num.messages": 10000, #та же мотивация, что и батч сайз
"request.timeout.ms": 1200,
"queue.buffering.max.ms": 1200,
"queue.buffering.max.messages": 1200000},

Подскажите, реальные ли это цифры, могу ли с одной машины отправить столько сообщений за короткий промежуток?
Что нужно поправить в настройках?
Или может концептуально по-другому действовать?

Может отправлять в джейсоне?
Вес мне не принципиален, мб сериализация в авро занимает больше времени, чем просто в джейсон?
Сообщение весит меньше 1кб

Буду очень признателен за любую помощь!

Да вот и вопрос в том, что будто бы у машины всего в достатке, и я где-то именно настройками стопорю выход на "полную мощность". ЦПУ загружен на 20-30%, Отправка пакетов около 1-1,5 MBps, т.е. довольно немного, насколько я понимаю. Вес фактического авро сообщения я не измерял, просто в онлайн калькуляторе посчитал вес сообщения-джейсончика, по символам

Я б ещё в сторону - buffer.memory По разгону продьюсеров классная презентация есть: Григорий Кошелев — Когда всё пошло по Кафке 2: Разгоняем продьюсеров - https://www.youtube.com/watch?v=zMLfxztAVlo

Спасибо!

Диски?

Ох! 100К сообщений в секунду что ли получается? Now we are talking! Ну ладно, если в 10 потоков - то по 10К в секунду, не так и ужасно. Ой стоп! Потоки и Питон! Мне это уже не нравится прям сразу. Я бы всё-таки повсотрел в сторону multiprocessing. С потоками в Питоне всё плохо by design. Конечно надо посмотреть профайлером. Навскидку: Avro-сериализация может, однако, быть оптимизирована испольхованием fastavro и ещё - попробуй перейти на Питон 3.11.

Спарком можно такое решать, без стриминга, просто spark.read.format("jdbc").write.format("kafka") Можно код на питоне написать, но для исполнения нужна джава и несколько пакетов джарок

Но не факт что это будет быстрее и легче в отладке