груп виден, но видно что он ничего не читает и current-offset не назначен даже
                  
                  
                  
                  
                  
                  сообщения в топик поступают и другой консумер их успешно читает, куда копать - как дебажить?
                  
                  
                  
                  
                  
                  root@fmk-kafka-analytics-1:/opt/kafka/bin# ./kafka-consumer-groups.sh --describe --group PySparkKafkaToCH --bootstrap-server localhost:9092
                  
                  
                  
                  
                  
                  GROUP            TOPIC              PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                      HOST            CLIENT-ID
                  
                  
                  PySparkKafkaToCH stat.api_query_log 5          -               27991971        -               consumer-PySparkKafkaToCH-1-1f92f08f-cd81-42ab-8aa0-4f443dc6786a /ip   consumer-PySparkKafkaToCH-1
                  
                  
                  
                  
                  
                  
                  
                  
                  при этом state = stable
                  
                  
                
а вроде в приведенном выхлопе у вас 1 консьюмер представлен? а вы пишете, что в той же группе есть другой, который все читает? или тот, второй - в другой группе?
Уже не актуально, проблема была в том что Спарк по умолчанию не коммитит в кафку ничего
Обсуждают сегодня