Странная проблема возникла. Все узлы кластера CH не могут подняться

со следующей диагностикой:
2022.05.20 06:46:32.107565 [ 1 ] {} <Error> Application: Caught exception while loading metadata: Code: 62. DB::Exception: Syntax error (in file /var/lib/clickhouse/metadata/vms/vms_cdr_consumer.sql): failed at position 346 (end of query) (line 11, col 1): . Expected one of: SET query, compound identifier, list of elements, identifier, end of query: Cannot parse definition from metadata file /var/lib/clickhouse/metadata/vms/vms_cdr_consumer.sql. (SYNTAX_ERROR), Stack trace (when copying this message, always include the lines below):

0. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int, bool) @ 0xb37173a in /usr/bin/clickhouse
1. DB::DatabaseOnDisk::parseQueryFromMetadata(Poco::Logger*, std::__1::shared_ptr<DB::Context const>, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, bool) @ 0x1526694d in /usr/bin/clickhouse
2. ? @ 0x1530c97a in /usr/bin/clickhouse
3. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0xb41b7ca in /usr/bin/clickhouse
4. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda0'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda0'()&&...)::'lambda'()::operator()() @ 0xb41d964 in /usr/bin/clickhouse
5. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0xb418b97 in /usr/bin/clickhouse
6. ? @ 0xb41c71d in /usr/bin/clickhouse
7. ? @ 0x7f2f9eb89609 in ?
8. __clone @ 0x7f2f9eaae163 in ?
(version 22.3.6.5 (official build))

в файле на который он ругается следующее:
sudo cat /data/hdd1/clickhouse-meta/pvc-0acb2f29-1f6b-4923-9b5f-2653ab0509f9/metadata/vms/vms_cdr_consumer.sql
ATTACH TABLE vms_cdr_consumer
(
`start_ts` UInt64,
`cdr_type` String,
`hostname` String,
`domain` String,
`cdr` String
)
ENGINE = RabbitMQ(ch_reader, rabbitmq_host_port = '192.168.51.201:5672', rabbitmq_vhost = 'nvms', rabbitmq_format = 'JSONEachRow', rabbitmq_queue_base = 'q_cdr_ext', rabbitmq_queue_consume = 1)
SETTINGS

Откуда там в конце появилось SETTINGS ума не приложу. В DDL которая давалась при создании такого нет.

если SETTINGS убрать грузится? это только для RabbitMQ такое?

да загрузилось. Да нашел только для RabbitMQ

Проблема воспроизводится drop table vms_cdr_consumer on cluster infra; DROP TABLE vms_cdr_consumer ON CLUSTER infra Query id: e0b548c1-f255-4183-b59d-6f78f7093312 ┌─host─────────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐ │ chi-ch-infra-0-0 │ 9000 │ 0 │ │ 3 │ 0 │ │ chi-ch-infra-0-1 │ 9000 │ 0 │ │ 2 │ 0 │ │ chi-ch-infra-1-1 │ 9000 │ 0 │ │ 1 │ 0 │ │ chi-ch-infra-1-0 │ 9000 │ 0 │ │ 0 │ 0 │ └──────────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘ Проверяем, что записей в metadata нет more /data/hdd1/clickhouse-meta/pvc-bd3074b1-f34e-426c-a654-fbc529feb89d/metadata/vms/vms_cdr_consumer.sql more: stat of /data/hdd1/clickhouse-meta/pvc-bd3074b1-f34e-426c-a654-fbc529feb89d/metadata/vms/vms_cdr_consumer.sql failed: No such file or directory Создаем новую таблицу: CREATE TABLE vms.vms_cdr_consumer ON CLUSTER infra ( `start_ts` UInt64, `cdr_type` String, `hostname` String, `domain` String, `cdr` String ) ENGINE = RabbitMQ(ch_reader, rabbitmq_host_port = '192.168.51.201:5672', rabbitmq_vhost = 'nvms', rabbitmq_format = 'JSONEachRow', rabbitmq_queue_base = 'q_cdr_ext', rabbitmq_queue_consume = 1) Query id: e9c48189-dad8-45a1-b2c5-462dd1e400d9 ┌─host─────────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐ │ chi-ch-infra-0-0 │ 9000 │ 0 │ │ 3 │ 0 │ │ chi-ch-infra-0-1 │ 9000 │ 0 │ │ 2 │ 0 │ │ chi-ch-infra-1-1 │ 9000 │ 0 │ │ 1 │ 0 │ │ chi-ch-infra-1-0 │ 9000 │ 0 │ │ 0 │ 0 │ └──────────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘ 4 rows in set. Elapsed: 1.427 sec. Смотрим что записалось в metadata more /data/hdd1/clickhouse-meta/pvc-bd3074b1-f34e-426c-a654-fbc529feb89d/metadata/vms/vms_cdr_consumer.sql ATTACH TABLE vms_cdr_consumer ( `start_ts` UInt64, `cdr_type` String, `hostname` String, `domain` String, `cdr` String ) ENGINE = RabbitMQ(ch_reader, rabbitmq_host_port = '192.168.51.201:5672', rabbitmq_vhost = 'nvms', rabbitmq_format = 'JSONEachRow', rabbitmq_queue_base = 'q_cdr_ext', rabbitmq_queue_consume = 1) SETTINGS Прицепился SETTINGS который при следующем рестарте узла не дает ему подняться

в гитхаб такое надо репортить, очевидно же что баг

конечно сейчас будет. Просто тут начал, решить и тут довести до логического конца (вдруг кто искать будет)