Все было ок.
На утро вижу ошибку
2023.09.01 07:48:43.007213 [ 239589 ] {} <Error> virtual void DB::ServerAsynchronousMetrics::updateImpl(AsynchronousMetricValues &, TimePoint, TimePoint): Cannot get replica delay for table: default.test_local: Code: 999. Coordination::Exception: No node, path: /clickhouse/cluster_test/tables/shard_1/default/test_local/replicas. (KEEPER_EXCEPTION), Stack trace (when copying this message, always include the lines below)
И действительно путь в clickhouse-keeper пуст
/ 🙂 automate-admin@esh-clickhouse-1:~$ clickhouse-keeper-client -h esh-zk-be-1.domain.com -p 9181
/ 🙂 ls /clickhouse/cluster_test/tables/shard_1/default
Как так?
Как создавал: https://pastila.nl/?0158e827/8b780cbfa38c54311c583443ea089be5#u5IHnzzjf0TB/PBghqUCvw==
clickhouse-keeper отдельно от clickhouse-server ? или embedded?
отдельный на других 3-х серверах поставлен убунту пакетом clickhouse-keeper
рестарта keeper не было? SELECT hostName(), * FROM clusterAllReplicas('cluster-name', system.query_log) WHERE query ILIKE '%DROP%REPLICA%' FORMAT Vertical SELECT hostName(), * FROM clusterAllReplicas('cluster-name', system.query_log) WHERE query ILIKE '%zookeeper%' FORMAT Vertical тут что-то есть?
Выполнил запросы на первой реплике первого шарда - пустой ответ Ожидаю что кипер не перезапускался, но точно сказать не могу т.к. нету доступа на те севера. Надо наверное дополучить доступ и как минимум логи кипера посмотреть
да, как минимум... там не в docker запущено... обычные пакеты и systemd сервисы?
Обсуждают сегодня