Ребят, такой вопрос: расследую Exception: Cannot provide query execution status. The

query's node <path> has been deleted by the cleaner since it was finished (or its lifetime is expired).
ловится рандомно на дистрибьютед DDL (version 20.12.4.5)
в квэри-логе родительский запрос:
QueryStart - 2021-04-21 08:05:44.397523
ExceptionWhileProcessing - 2021-04-21 08:05:44.456042
т.е. получает эксепшен через 58 мс
* причем дочерний квэрик (типа /* ddl_entry=query-XX */ ...) пришел (из ЗК как понимаю) и выполнился без проблем на этой ноде и по остальным в кластере
** на ноде-инициаторе запроса - дочерний начался даже раньше чем получен эксепшен на родительский запрос
QueryStart = 2021-04-21 08:05:44.423589
QueryFinish = 2021-04-21 08:05:44.735141
=====
вопросы:
1 - может ли быть так что в ClickHouse/dbms/src/Interpreters/DDLWorker.cpp обращение if (!zookeeper->exists(node_path)) ждет, например, кворума или еще по какой-то причине не получает корректного ответа, при том что запрос который был сформирован из ЗК task_queue уже успел прийти и начать выполняться? Если да - есть советы по обходу?
2 - есть ли способ добавить запросу какую-нибудь задержку/возможность ре-трая параметрами при проверке статуса? (помню был параметр timeout_before_checking_execution_speed - может на ЗК водится что-нибудь подобное) ну или возможно набор сеттингов для ЗК с потенциально лагающей сетью?
3 - может ли засада таиться в том что разные процессы хэндлят и почему-то не договорились по нодам/локам/...?

UP @den_crane , @dj_mixer , может у Вас в карманах случайно магическая парамка завалялась?

хм, суть проблемы в чем? запрос выполнился вроде успешно - вы не хотите видеть ошибку на выполнении?

а что с ЗК? у вас случайно не обзервер используется?

да ложных эксепшенов избежать

у вас много ДДЛов создается/бегает?

Не знаю что под "обзервером" понимаете, опсы ответили не, нет обезрверов у меня ЗК 5 нод на отдельных машинках * сеть - Hetzner (

а можно с лидера зк echo mntr | nc localhost 2181

дропы партишек от промежуточного тира ... ~ 20-60 запросов в час остальные ддл - стохастически и редко <1/час

наверно просто баг в реализации (судя по коду) https://github.com/ClickHouse/ClickHouse/issues/19027 у вас есть на инициаторе какие-либо ещё ошибки либо в ЗК логе?

Тебе прям все?

в личку пульнул чтоб чат не порочить

в зк эрроров не вижу (ток INFO/WARNING) на ноде тоже ничего подозрительного в этот диапазон времени

такой инфолог есть? An error occurred while creating auxiliary ZooKeeper directories in

нет

ну тогда это баг и надо в коде сильно копать, скорее всего связано с переделкой database=replicated, судя по времени всех багов... в гитхабе несколько тикетов, добавляйтесь в любой...