груп виден, но видно что он ничего не читает и current-offset не назначен даже
сообщения в топик поступают и другой консумер их успешно читает, куда копать - как дебажить?
root@fmk-kafka-analytics-1:/opt/kafka/bin# ./kafka-consumer-groups.sh --describe --group PySparkKafkaToCH --bootstrap-server localhost:9092
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
PySparkKafkaToCH stat.api_query_log 5 - 27991971 - consumer-PySparkKafkaToCH-1-1f92f08f-cd81-42ab-8aa0-4f443dc6786a /ip consumer-PySparkKafkaToCH-1
при этом state = stable
а вроде в приведенном выхлопе у вас 1 консьюмер представлен? а вы пишете, что в той же группе есть другой, который все читает? или тот, второй - в другой группе?
Уже не актуально, проблема была в том что Спарк по умолчанию не коммитит в кафку ничего
Обсуждают сегодня