Всем привет! помогите, пожалуйста, разобраться с проблемой: внеапно в логах появились ошибки

вида:
0. DB::Exception::Exception(DB::Exception::MessageMasked&&, int, bool) @ 0xddb0df5 in /usr/bin/clickhouse
1. Coordination::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char>> const&, Coordination::Error, int) @ 0x14c55e10 in /usr/bin/clickhouse
2. Coordination::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char>> const&, Coordination::Error) @ 0x14c56118 in /usr/bin/clickhouse
3. zkutil::KeeperMultiException::KeeperMultiException(Coordination::Error, std::__1::vector<std::__1::shared_ptr<Coordination::Request>, std::__1::allocator<std::__1::shared_ptr<Coordination::Request>>> const&, std::__1::vector<std::__1::shared_ptr<Coordination::Response>, std::__1::allocator<std::__1::shared_ptr<Coordination::Response>>> const&) @ 0x14c6e624 in /usr/bin/clickhouse
4. zkutil::KeeperMultiException::check(Coordination::Error, std::__1::vector<std::__1::shared_ptr<Coordination::Request>, std::__1::allocator<std::__1::shared_ptr<Coordination::Request>>> const&, std::__1::vector<std::__1::shared_ptr<Coordination::Response>, std::__1::allocator<std::__1::shared_ptr<Coordination::Response>>> const&) @ 0x14c616d2 in /usr/bin/clickhouse
5. DB::ReplicatedMergeTreeRestartingThread::activateReplica() @ 0x1446e08e in /usr/bin/clickhouse
6. DB::ReplicatedMergeTreeRestartingThread::tryStartup() @ 0x1446c61c in /usr/bin/clickhouse
7. DB::ReplicatedMergeTreeRestartingThread::runImpl() @ 0x14461840 in /usr/bin/clickhouse
8. DB::ReplicatedMergeTreeRestartingThread::run() @ 0x1445e5da in /usr/bin/clickhouse
9. DB::BackgroundSchedulePoolTaskInfo::execute() @ 0x1247b0e1 in /usr/bin/clickhouse
10. DB::BackgroundSchedulePool::threadFunction() @ 0x1247e80a in /usr/bin/clickhouse
11. ? @ 0x1247f72e in /usr/bin/clickhouse
12. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0xde7de76 in /usr/bin/clickhouse
13. ? @ 0xde831a1 in /usr/bin/clickhouse
14. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
15. __clone @ 0xfeb0d in /usr/lib64/libc-2.17.so
(version 23.1.3.5 (official build))
при попытке создать новую таблицу :
Received exception from server (version 23.1.3):
Code: 159. DB::Exception: Received from localhost:9000. DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000000003 is executing longer
than distributed_ddl_task_timeout (=180) seconds. There are 2 unfinished hosts (0 of them are currently active), they are going to execute the query in background.
(TIMEOUT_EXCEEDED)
Посмотрела system.clusters, как советовали в этом чате, проблем на уровне ДНС не вижу...
куда еще можно покопать?

А чуть выше эксепшена

извиняюсь, не докопировала, обновила коммент

https://github.com/ClickHouse/ClickHouse/issues/47879#issuecomment-1696102794 Ну вот куда то сюда. Попробуйте создать вашу таблицу на проблемной ноде без ON CLUSTER какая ошибка будеь

пока ссылка не помогла, но при создании ошибки без ON CLUSTER ошибки не возникает

А если создавать (новую таблицу) с ON CLUSTER то возникает?

да, Received exception from server (version 23.1.3): Code: 159. DB::Exception: Received from localhost:9000. DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000000003 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 2 unfinished hosts (0 of them are currently active), they are going to execute the query in background. (TIMEOUT_EXCEEDED)

Ну можете написать в issue туда о вашей ситуации