Добрый вечер. Из двухнодового кластера(distributed+replicatedmt) вывели из эксплуатации одну релпику,

Question

Добрый вечер. Из двухнодового кластера(distributed+replicatedmt) вывели из эксплуатации одну релпику,

хост также был удален из dns
* удалили ее из директивы <remote_servers> конфига config.xml
* перезагрузили сервер (на этом этапе она пропала из system.cluster)
* выполнили SYSTEM DROP REPLICA 'clickhouse-kd2'

Тем не менее, в журналах при старте кликхауза ошибка
"carbon_metrics.graphite_tree.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: Host not found: clickhouse-kd2 (clickhouse-kd2:9000), Stack trace (when copying this message, always include the lines below)"

Что-то пропустили, нужно еще почистить какие-нибудь очереди?

#backend #clickhouse #database #devops #programming #russian

0

16.04.2021

10 ответов

22 просмотра

Евгений Овчинников

Denny [Altinity]
У дистрибьютид таблицы в очереди надо удалить/пере...

Здравствуйте, у меня был кейс что накопилось bin файлов 30 миллионов. Я прописал user password в конфиге кластера. Сейчас инсерты пошли и число bin файлов уменьшается. Но встала репликация на других таблицах, которые не view.

0

19.04.2021

Denny [Altinity]

Евгений Овчинников
Здравствуйте, у меня был кейс что накопилось bin ф...

Какие симптомы у "встала" и при чем тут вью?

0

19.04.2021

Евгений Овчинников

Denny [Altinity]
Какие симптомы у "встала" и при чем тут вью?

с view проблемы начались, что там инсерты не отправлялись, это решили, появилась новая проблема. таблицы ENGINE = ReplicatedMergeTree сейчас отстают на ноде с которой инсерты пошли

0

19.04.2021

Евгений Овчинников

Denny [Altinity]
Какие симптомы у "встала" и при чем тут вью?

ClickHouse: Replication lag across all tables 2021-04-19 11:30:35 6d 22h 26m

0

19.04.2021

Denny [Altinity]

Евгений Овчинников
с view проблемы начались, что там инсерты не отпра...

Distributed таблица это не вью. Select * from system.replication_queue

0

19.04.2021

Евгений Овчинников

Denny [Altinity]
Distributed таблица это не вью. Select * from syst...

я плохо объяснил. работали год, проблем с репликацией replicated таблиц не было. были ошибки авторизации между нодами и копились bin файлы, рестарт ноды занимал 8 часов. Как только я прописал авторизацию для distributed таблиц, появился лаг репликации по заббиксу.

0

19.04.2021

Denny [Altinity]

Евгений Овчинников
я плохо объяснил. работали год, проблем с репликац...

SELECT database, table, type, any(last_exception), any(postpone_reason), max(last_attempt_time), max(last_postpone_time), max(num_postponed) AS max_postponed, max(num_tries) AS max_tries, min(num_tries) AS min_tries, countIf(last_exception != '') AS count_err, countIf(num_postponed > 0) AS count_postponed, countIf(is_currently_executing) AS count_executing, count() AS count_all FROM system.replication_queue GROUP BY database, table, type order by count_all desc

0

19.04.2021

Denny [Altinity]

так проблема неделю назад началась? типа уже неделю парты качает │ data │ participants_log │ GET_PART | 2021-04-12 13:51:12 │ 1970-01-01 03:00:00 попробуйте рестартовать КХ, похоже фетч завис

0

19.04.2021

Евгений Овчинников

Denny [Altinity]
так проблема неделю назад началась? типа уже неде...

ну да примерно неделя. сейчас не хочу рестартить, пусть закончит еще 15млн инсертов. Тогда рестартую. спасибо.

0

19.04.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

У дистрибьютид таблицы в очереди надо удалить/переложить bin файлы. Это отложенные инсерты

0

19.04.2021

184 похожих чатов

Добрый вечер. Из двухнодового кластера(distributed+replicatedmt) вывели из эксплуатации одну релпику,

10 ответов

Похожие вопросы