топик в Kafka
docker exec -t clickhouse-kafka \
kafka-topics.sh \
--bootstrap-server :9092 \
--create \
--topic TopicNameHere \
--partitions 6 \
--replication-factor 1
но, если указать 6 партиций (--partitions 6) в топике, то читают только из двух шардов 3-я простаивает, а если указать больше, скажем 12 (--partitions 12), то все нормально. Почему не хватает 6 партиций там же по идее каждому должно достаться?
а таблица Engine=Kafka ваша с kafka_num_consumers = 1 ?
Нет, я устанавливал kafka_num_consumers = 3
эээ, так вы видимо совсем не поняли что этот параметр делает. если kafka_num_consumers=3 тогда партиций надо минимум 2*2*3=12, рекомендую 24
Обсуждают сегодня