Добрый день! ClickHouse Keeper 23.8.2.7 в k8s После перезапуска подов не запускается ClickHouse

Keeper


2023.09.21 14:42:07.090509 [ 43 ] {} <Information> RaftInstance: config at index 35603 is committed, prev config log idx 35631
2023.09.21 14:42:07.090520 [ 43 ] {} <Information> RaftInstance: skipped config 35603, latest config 35631
2023.09.21 14:42:07.091609 [ 43 ] {} <Error> RaftInstance: background committing thread encounter err Trying to commit a ZXID 35536 while the next ZXID to commit is 35537, exiting to protect the system
2023.09.21 14:42:07.092567 [ 20 ] {} <Trace> BaseDaemon: Received signal 6
2023.09.21 14:42:07.092798 [ 46 ] {} <Fatal> BaseDaemon: ########## Short fault info ############
2023.09.21 14:42:07.092855 [ 46 ] {} <Fatal> BaseDaemon: (version 23.8.2.7 (official build), build id: 1B2B790B95C6460F964E811123BAB811389F61F0, git hash: f73c8f378745d0520eec7e3519fc0ce6991639b9) (from thread 43) Received signal 6
2023.09.21 14:42:07.092876 [ 46 ] {} <Fatal> BaseDaemon: Signal description: Aborted
2023.09.21 14:42:07.092884 [ 46 ] {} <Fatal> BaseDaemon:
2023.09.21 14:42:07.092895 [ 46 ] {} <Fatal> BaseDaemon: Stack trace: 0x0000000000a2eb10
2023.09.21 14:42:07.092899 [ 46 ] {} <Fatal> BaseDaemon: ########################################
2023.09.21 14:42:07.092908 [ 46 ] {} <Fatal> BaseDaemon: (version 23.8.2.7 (official build), build id: 1B2B790B95C6460F964E811123BAB811389F61F0, git hash: f73c8f378745d0520eec7e3519fc0ce6991639b9) (from thread 43) (no query) Received signal Aborted (6)
2023.09.21 14:42:07.092918 [ 46 ] {} <Fatal> BaseDaemon:
2023.09.21 14:42:07.092923 [ 46 ] {} <Fatal> BaseDaemon: Stack trace: 0x0000000000a2eb10
2023.09.21 14:42:07.093020 [ 46 ] {} <Fatal> BaseDaemon: 0. signalHandler(int, siginfo_t*, void*) @ 0x0000000000a2eb10 in /usr/bin/clickhouse-keeper
2023.09.21 14:42:07.093027 [ 46 ] {} <Fatal> BaseDaemon: Integrity check of the executable skipped because the reference checksum could not be read.
2023.09.21 14:42:07.093043 [ 46 ] {} <Fatal> BaseDaemon: Report this error to https://github.com/ClickHouse/ClickHouse/issues
2023.09.21 14:42:07.541927 [ 40 ] {} <Warning> RaftInstance: peer (1) response error: failed to connect to peer 1, clickhouse-keeper-0.clickhouse-keepers.clickhouse.svc.cluster.local:94
2023.09.21 14:42:07.542152 [ 32 ] {} <Warning> RaftInstance: peer (2) response error: failed to connect to peer 2, clickhouse-keeper-1.clickhouse-keepers.clickhouse.svc.cluster.local:94

Пробовал
--force-recovery
на всех нодах - ошибка та же

Подскажите пожалуйста что можно с этим сделать?

я разобрался вдруг кому пригодится: В чартах https://github.com/Altinity/clickhouse-operator/blob/ee8cb7c4f988d1c1cde0c34038dfd03d615a36d0/deploy/clickhouse-keeper/clickhouse-keeper-3-nodes.yaml#L175 первая нода всегда в рекавери-мод запускается И если что то менять в стейтфулсете то поды перезапускаются по одному Пока первая нода перезапускается остальные назначают между собой лидера В итоге 2 лидера работают одновременно и всё ломается …