Подскажите пожалуйста, куда смотреть. Есть кластер 30 шардов, 2 реплики,

Question

Подскажите пожалуйста, куда смотреть. Есть кластер 30 шардов, 2 реплики,

3 ноды зукипера.
Работает нормльно неделю или несколько дней, потом в один момент все ноды кликхауса упираются в лимит одновременных подключений (сначала 500, потом поднял до 1000 - аналогично). Подсоединиться к серверу кликхауса не получается ни на одной ноде. Рестарт машин - все оживает и работа кластера почти нормализована.
Почти - потому что огромное число таблиц вываливается в ридонли или реплики не онлайн, ругаясь на /clickhouse/tables/dbanme/tablepath/replicas/s0/log_pointer: node doesn't exist (No node). (KEEPER_EXCEPTION) (version 22.1.3.7 (official build))
Нагрузка весьма умеренная (обычно ЛА5 на 16 ядерном сервере не выше 5), вставок довольно много, но большими пачками или через буферные таблицы.
С сетью вроеде все хорошо, но ситуация повторялась уже с десяток раз и я в полном унынии и непонимании, куда смотреть и на что обращать внимание.
В логах зукипера (на лидере) поток сообщений следующего вида, даже когда кластер себя хорошо чувствует и все работает без проблем со стороны приложения
INFO [ProcessThread(sid:1 cport:-1)::PrepRequestProcessor@653] - Got user-level KeeperException when processing sessionid:0x2005a7265a80068 type:delete cxid:0x7487552 zxid:0x11572c0d7d txntype:-1 reqpath:n/a Error Path:/clickhouse/task_queue/ddl/query-00000516
На что обратить внимание, какие метрики могут пролить свет на ситуацию?