Привет, в Atomic бд, дропнул таблицу с SYNC. В половине

Question

Привет, в Atomic бд, дропнул таблицу с SYNC. В половине

нодов таблица не удалилась с ошибкой:
Replica was not completely removed from ZooKeeper, /tables/production_cluster/2/db.table/replicas/2 still exists and may contain some garbage.

Куда смотреть и как её удалить?

#backend #clickhouse #database #devops #programming #russian

0

10.05.2023

19 ответов

7 просмотров

Nik S. Автор вопроса

Slach [altinity]
SYSTEM DROP REPLICA 'replica-name' FROM db.table;

это на тех нодах где они осталась?

0

10.05.2023

Slach [altinity]

вообще странно, если такое есть у вас, то проверьте имена реплик правильно ли заданы? обычно это макрос replica в system.macros

0

10.05.2023

Slach [altinity]

Nik S.
это на тех нодах где они осталась?

на этих репликах так сделать не даст.. https://clickhouse.com/docs/en/sql-reference/statements/system#drop-replica но вы сначала проверьте что у вас имена реплик разные везде на всех нодах там где не может удалить /2 на конце в replicated path такое себе имя реплики SHOW CREATE TABLE db.table FORMAT Vertical; покажите?

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
на этих репликах так сделать не даст.. https://cli...

Вот так выглядит CREATE TABLE CREATE TABLE IF NOT EXISTS db.table ON CLUSTER '{cluster}' ( ...columns.. ) ENGINE = ReplicatedMergeTree('/tables/{cluster}/{shard}/prometheus.metrics_repl', '{replica}') PARTITION BY toYYYYMMDD(date) ORDER BY (ts, name)

0

10.05.2023

Slach [altinity]

Nik S.
Вот так выглядит CREATE TABLE CREATE TABLE IF NOT ...

SELECT DISTINCT cluster FROM system.clusters;

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
SELECT DISTINCT cluster FROM system.clusters;

только один, production_cluster расклад такой, что node1, shard1, replica1 ----replication----> node 2, shard1, replica 2 node3, shard2, replica1 ----replication----> node 4, shard2, replica 2 node5, shard3, replica1 ----replication----> node 6, shard3, replica 2 node7, shard4, replica1 ----replication----> node 8, shard4, replica 2 И если делаю select из clusterAllReplicas(production_cluster, system.tables) where table = table and database=db, то всё еще есть эта таблица на нодах 1, 2, 7 и 8.

0

10.05.2023

Slach [altinity]

Nik S.
только один, production_cluster расклад такой, чт...

SELECT hostName() h, * FROM clusterAllReplicas('production_cluster',system.macros) ORDER BY macro, h есть ли одинаовый shard+replica на разных hostName() ?

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
SELECT hostName() h, * FROM clusterAllReplicas('pr...

нет, такого нет, у каждого шарда две разных реплики 1 и 2

0

10.05.2023

Slach [altinity]

Nik S.
нет, такого нет, у каждого шарда две разных реплик...

тогда может есть какие то еще таблицы которые с заданный replication_path пишут? SELECT hostName() h, database, table, engine_full FROM clusterAllReplicas('production_cluster',system.tables) WHERE engine_full ILIKE '%prometheus.metrics_repl%';

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
тогда может есть какие то еще таблицы которые с за...

нет, только моя таблица которую хочу дропнуть

0

10.05.2023

Slach [altinity]

попробуйте DETACH TABLE ... потом ATTACH TABLE и после этого DROP TABLE ... SYNC

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
попробуйте DETACH TABLE ... потом ATTACH TABLE и п...

сейчас в system.parts ничего от неё не осталось, всё равно попробовать detach-attach?

0

10.05.2023

Slach [altinity]

Nik S.
сейчас в system.parts ничего от неё не осталось, в...

ну если DROP ... SYNC не проходит...

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
ну если DROP ... SYNC не проходит...

drop sync он без ошибок сработал, просто я потом сразу попытался создать эту таблицу опять и увидел что там еще остатки в зукипере остались.

0

10.05.2023

Slach [altinity]

Nik S.
drop sync он без ошибок сработал, просто я потом с...

вы совершенно по другому ставили вопрос вы говорили что у вас DROP SYNC не на всех нодах отработал DROP TABLE db.table ON CLUSTER 'production_cluster' SYNC вот так надежнее всего... и потом только создавать CREATE TABLE ... ON CLUSTER

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
вы совершенно по другому ставили вопрос вы говори...

Прошу прощения если не правильно выразился. Drop sync сработал везде, я ошибок не видел. Все из system.parts ушло. Осталось: на нодах 1, 2, 7 и 8 в system.tables записи и ошибки в логах про зукипер такое (на скриншоте).

0

10.05.2023

Nik S. Автор вопроса

Slach [altinity]
вы совершенно по другому ставили вопрос вы говори...

в итоге, я еще раз drop sync сделал и теперь из system.tables всё ушло. Осталось только в зукипере эти два: '/tables/production_cluster/3/prometheus.metrics_repl/replicas/1' /tables/production_cluster/2/prometheus.metrics_repl/replicas/2 их как-то можно безопасно почистить? вижу их в system.zookeeper

0

10.05.2023

Slach [altinity]

Nik S.
в итоге, я еще раз drop sync сделал и теперь из sy...

странно, должны были почиститься вообще то в zookeeper zkCli.sh deleteall /tables/production_cluster/3/prometheus.metrics_repl

0

10.05.2023

Slach [altinity] · Accepted Answer

Slach [altinity]

SYSTEM DROP REPLICA 'replica-name' FROM db.table;

0

10.05.2023

184 похожих чатов

Привет, в Atomic бд, дропнул таблицу с SYNC. В половине

19 ответов

Похожие вопросы