Сломалась репликации на одном из хостов КХ в replication_queue растет количество

записей с postpone_reason

Not executing fetch of part 20220414_241_241_0 because 16 fetches already executing, max 16

На другой реплике эти парты есть, и они не пустые. Что это может быть и что делать?
КХ 22.3.3.44

ну у вас уже 16 фетчей запущено подождите. должно рассосаться, если не рассасывается то что-то не так делаете со вставкой сколько партов новых в секунду у вас создается по part log? что именно сломалось в репликации? Реплика в оффлайн выпадала и до ZK не могла достучаться?

два часа копилось, но как только Вы написали, и стало рассасываться) Новых партов мало, реже чем 1 в 10 секунд

тогда ждите когда прососется, все ок должно быть смотртите в system.replication_queue

Вроде ок Правда есть другая проблема, что на нескольких шардах одна и та же таблица ушла в рид-онли на 2 из 3х реплик

readonly это проблемы с zookeeper SELECT * FROM system.zookeper WHERE path='/' FORMAT Vertical проверьте если ок то смотрите в ошибки в SELECT * FROM system.replication_queue

в этом и проблема, что с зукипером связь есть а в replication_queue ошибок нет Только висит 20-50 штук старых GET_PART (октябрьских оО), но без ошибок

SYSTEM RESTART REPLICA db.name не помогает?

не помогает

а SYSTEM RESTART REPLICAS ?

Тоже не помогло Если бы были проблемы с зукипером, то все таблицы бы ушли в read-only, верно? У меня же ушла ровно одна таблица..

Ну вы говорите что таблица в readonly посмотрите все такие system.replication_queue в last_postpone_reason судя по всему таблица readonly потому что она пытается скачать парты которые уже не существуют и почему то не качает парты более поздние которые эти старые парты покрывают то есть таблица по каким то причинам долго парты не скачивала думаю имеет смысл на той реплике где таблица не read-only запустить SYSTEM RESTORE REPLICA db.table чтобы раскатить актуальное состояние на остальные реплики

Да, таблица в readonly Но в system.replication_queue ошибок нет, last_postpone_reason везде пустое restore не запускается на реплике, где не рид-онли, потому что Code: 36. DB::Exception: Received from localhost:9000. DB::Exception: Replica must be readonly. (BAD_ARGUMENTS) system restart replica тоже не помогает со здоровой реплики..

со здоровой реплики restart бесполезно делать ок. что в system.replicas на репликах которые readonly ? SELECT * FROM system.replicas WHERE ... FORMAT Vertical ?

SELECT * FROM system.replicas WHERE is_readonly FORMAT Vertical там есть last_queue_update_exception: Code: 49. DB::Exception: Part 20211028_19882_19888_1 intersects next part 20211028_19886_19890_1. It is a bug or a result of manual intervention in the ZooKeeper data. (LOGICAL_ERROR) (version 22.3.3.44 (official build))

знаете как переводится manual intervention in the zookeeper data? ничего через zkCli.sh не чистили?

Если дропнуть таблицу на реплике и создать заново, он вроде нормально начинает работать Только так не хочется делать, потому что это очень геморно (просто дропнуть и создать таблицу я не могу, приходится с перезапуском сервера это делать), да и таблица очень большая, долго догоняется