Unexpected error from /172.18.0.1; closing connection (org.apache.kafka.common.network.Selector)
                  
                  
                  2023-07-21T09:37:56.442411598Z org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 369295616 larger than 104857600)
                  
                  
                  2023-07-21T09:37:56.442419840Z   at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:105)
                  
                  
                  2023-07-21T09:37:56.442426469Z   at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:452)
                  
                  
                  2023-07-21T09:37:56.442431895Z   at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:402)
                  
                  
                  2023-07-21T09:37:56.442447965Z   at org.apache.kafka.common.network.Selector.attemptRead(Selector.java:674)
                  
                  
                  2023-07-21T09:37:56.442454434Z   at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:576)
                  
                  
                  2023-07-21T09:37:56.442460048Z   at org.apache.kafka.common.network.Selector.poll(Selector.java:481)
                  
                  
                  2023-07-21T09:37:56.442466046Z   at kafka.network.Processor.poll(SocketServer.scala:989)
                  
                  
                  2023-07-21T09:37:56.442471459Z   at kafka.network.Processor.run(SocketServer.scala:892)
                  
                  
                  2023-07-21T09:37:56.442476685Z   at java.base/java.lang.Thread.run(Thread.java:829)
                  
                  
                  2023-07-21T09:37:56.444911393Z [2023-07-21 09:37:56,443] WARN [SocketServer listenerType=ZK_BROKER, nodeId=3] Unexpected error from /172.18.0.1; closing connection (org.apache.kafka.common.network.Selector)
                  
                  
                  2023-07-21T09:37:56.444926112Z org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 369295616 larger than 104857600)
                  
                  
                  2023-07-21T09:37:56.444938043Z 
                  
                  
                  как ее побороть?
                  
                  
                  
                  
                  
                  запускаю локально в докере, версия cp-kafka:7.0.1
                  
                  
                  настройки 3х сервисов с кафкой подобны
                  
                  
                   
                  
                  
                      image: confluentinc/cp-kafka:7.0.1
                  
                  
                      container_name: kafka-1
                  
                  
                      ports:
                  
                  
                        - "9092:9092"
                  
                  
                      environment:
                  
                  
                        KAFKA_BROKER_ID: 1
                  
                  
                        KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
                  
                  
                        KAFKA_ADVERTISED_LISTENERS: LISTENER_DOCKER_INTERNAL://kafka-1:19092,LISTENER_DOCKER_EXTERNAL://${DOCKER_HOST_IP:-127.0.0.1}:9092
                  
                  
                        KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: LISTENER_DOCKER_INTERNAL:PLAINTEXT,LISTENER_DOCKER_EXTERNAL:PLAINTEXT
                  
                  
                        KAFKA_INTER_BROKER_LISTENER_NAME: LISTENER_DOCKER_INTERNAL
                  
                  
                        KAFKA_LOG4J_ROOT_LOGLEVEL: INFO
                  
                  
                        KAFKA_CONFLUENT_SUPPORT_METRICS_ENABLE: "false"
                  
                  
                      depends_on:
                  
                  
                        - zookeeper
                  
                  
                
Проверь размер сообщения , которое лежит в брокере. Дефолтное значение на чтение/запись 1мб
он же "русским" языком говорит, что не так 2023-07-21T09:37:56.444926112Z org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 369295616 larger than 104857600)
ага и что дальше? установить параметр)
ну да, установить максимальный размер, или на кластере при запуске (KAFKA_MESSAGE_MAX_BYTES, скорей всего), или на топик через kafka_topic.sh и тп
проверить размер сообщения, что ты кидаешь проверить размер пачки, что ты кидаешь
Обсуждают сегодня