Всем привет! Возникла проблема со скоростью чтения из топика кафка.

Question

Всем привет! Возникла проблема со скоростью чтения из топика кафка.

В КХ kafka движок on cluster на 4-ех нодах со параметрами:
kafka_commit_every_batch = 1,
kafka_max_block_size = 2048576,
kafka_num_consumers = 16,
kafka_thread_per_consumer = 1

Скорость 20 МБ/с. При этом сначало работал с kafka_num_consumers = 1 (скорость была 14 МБ), уже в ходе работы поднял число партиций в топике и пересоздал с kafka_num_consumers = 16 в клике, но как видно рост минимальный, может кто знает в чем может быть проблема/в какую сторону смотреть/или может примерную скорость из своей практики при чтении с кафка?

#backend #clickhouse #database #devops #programming #russian

0

09.06.2021