nodes (zk exporter), как на картинке. Никаких изменений в КХ, кроме очистки block numbers (вроде проблем не вызвало).
Были ошибки с бесконечными попытками перевставки из distributed engine.
По типу:
Code: 999. DB::Exception: Received from host.domain.int:9000. Coordination::Exception. Coordination::Exception: No node, path: /clickhouse/path/01-07/clustername/TABLENAME/block_numbers/19700101/block-. Stack trace:
0. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int, bool) @ 0xa40285a in /usr/bin/clickhouse
1. Coordination::Exception::Exception(std::__1::basic_string<char,
при проверке на CH кластере в system.metrics, CH их не видит (итого 160к эф нодов):
select hostName(), * from clusterAllReplicas(clustername, system.metrics) where metric like '%Epheme%';
node01 EphemeralNode 10700 Number of ephemeral nodes hold in ZooKeeper.
node02 EphemeralNode 10699 Number of ephemeral nodes hold in ZooKeeper.
node03 EphemeralNode 10699 Number of ephemeral nodes hold in ZooKeeper.
Ошибок такого типа не нашел (в чате пару упоминаний, но не особо с решениями).
Как узнать в ЗК, где все эти эфемерал ноды копятся?
И есть ли у кого подобные проблемы в истории? Куда вообще копать?
Спасибо.
в общем да, экспериментальным путем выяснилось что не удаляются "abandonable_lock" ноды из подпапки "replicapath/temp"
Обсуждают сегодня