Есть кластер из двух шардов по 2 реплики, базы -

Question

Есть кластер из двух шардов по 2 реплики, базы -

атомик. Настроили сегодня выгрузку кучи данных из кафки средствами KafkaEngine + MV в Distributed таблицы.
И тут заметил, что в какой-то момент на двух серверах одного шарда уверенно стала расти метрика DistributedFilesToInsert (уже под 5000), хотя на втором - по нулям.

В доке про метрику написано: shows the total number of files in filesystem that are selected to send to remote servers by Distributed tables.

Где-то криво настроены распределённые таблицы? Что это может быть? Куда смотреть?

#backend #clickhouse #database #devops #programming #russian

0

05.04.2022

7 ответов

20 просмотров

Alexey Sokolov Автор вопроса

Denny [Altinity]
system.distribution_queue

Table is in readonly mode на одном из серверов второго кластера (где очереди нет)

0

05.04.2022

Denny [Altinity]

Alexey Sokolov
Table is in readonly mode на одном из серверов вто...

select FQDN() h, count() from clusterAllReplicas('', system.replicas) where is_readonly group by h

0

05.04.2022

Alexey Sokolov Автор вопроса

Denny [Altinity]
select FQDN() h, count() from clusterAllReplicas('...

Пусто (имя кластера подставил). На всякий случай проверил system.replicas локально на каждом сервере - нигде нет ничего в ридонли.

0

05.04.2022

Denny [Altinity]

Alexey Sokolov
Пусто (имя кластера подставил). На всякий случай п...

а где вы нашли Table is in readonly mode тогда ? покажите

0

05.04.2022

Alexey Sokolov Автор вопроса

Denny [Altinity]
а где вы нашли Table is in readonly mode тогда ? п...

Я сделал select FQDN(), * from clusterAllReplicas('fdp-cluster', system.distribution_queue) t where t.data_files > 0; И увидел две ноды из второго шарда, у которых для распределённой таблицы Events data_files под 7000 и в поле last_exception написано: Code: 242. DB::Exception: Received from chi-clickhouse-replicated-0-0:9000. DB::Exception: Table is in readonly mode (zookeeper path: /clickhouse/tables/fdp/Events_local/shard1). Значения в data_files медленно растут, в system.replicas с признаком is_readonly=1 по-прежнему ничего нет. В какой-то момент мониторинг показал событие init ZK, после чего график по метрике DistributedFilesToInsert пошёл вниз, но вскоре снова начал расти.

0

05.04.2022

Denny [Altinity]

Alexey Sokolov
Я сделал select FQDN(), * from clusterAllReplicas(...

в логе КХ того который chi-clickhouse-replicated-0-0 надо смотреть

0

05.04.2022

Denny [Altinity] · Accepted Answer

Denny [Altinity]

system.distribution_queue

0

05.04.2022

184 похожих чатов

Есть кластер из двух шардов по 2 реплики, базы -

7 ответов

Похожие вопросы