readonly mode? У нас есть алерты на количество readonly replicas и не было ни одного аларма. Очень странно.
логи надо читать почему она стала RO. Остановка реплики никак не влияет на другие ноды
обоих, в логе КХ написано почему таблица стала RO
в итоге, перегрузили ту реплику на который были ошибки и выползли 3 readonly реплики тут: select hostName(), database, table, replica_name, replica_path from clusterAllReplicas(production_cluster, system.replicas) where is_readonly Как с ними быть? как пофиксить?
system.replication_queue смотрите для начала
для этих таблиц которые readonly - чисто, ошибок тоже нет
какой нибудь рецепт есть как это починить?
SELECT * FROM system.replicas WHERE is_readonly FORMAT Vertical точно никаких ошибок нет?
Когда attach table и в логе смотрим ощибку
да, ошибок точно нет
Ro таблица и ошибок нет при attach? Ну так не бывает Я такое каждый день чиню
attach table не позволяет сделать - TABLE_ALREADY_EXISTS
Нашёл! TOO_MANY_UNEXPECTED_DATA_PARTS (ReplicatedMergeTreeAttachThread): Initialization failed, table will remain readonly. Error: Code: 231. DB::Exception: The local set of parts of table ... doesn't look like the set of parts in ZooKeeper: 368.48 thousand rows of 368.48 thousand total rows in filesystem are suspicious. There are 94 uncovered unexpected parts with 368484 rows (0 of them is not just-written with 0 rows), 0 missing parts (with 0 blocks), 0 covered unexpected parts (with 0 rows). (TOO_MANY_UNEXPECTED_DATA_PARTS),
https://github.com/ClickHouse/ClickHouse/issues/53479
Спасибо, значит: sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data systemctl restart clickhouse-server
Спасибо! Всё починил!
Обсуждают сегодня