Всем привет! Возник вопрос по работе с низкоуровневыми данными после развала

Question

Всем привет! Возник вопрос по работе с низкоуровневыми данными после развала

партиции (повреждены idx, mrk).
Судя по документации, флаг force_restore_data работает только с репликацией, но есть возможность читать данные из файлов напрямую.
Пример из документации:

SELECT count( ) FROM file('primary-hits_UserID_URL.idx', 'RowBinary', 'UserID UInt32, URL String');

Может быть кто-нибудь видел тул, документацию или пример чтения данных из *.bin файлов? Описание MergeTree говорит, что в этих файлах данные идут блоками, каждый блок отдельно сжимается (по умолчанию LZ4).
Или может быть документацию о возможности пересчета служебных данных о таблице?

#backend #clickhouse #database #devops #programming #russian

0

19.10.2023

7 ответов

30 просмотров

Denny [Altinity]

https://habr.com/ru/articles/539538/

0

19.10.2023

Anton Demenev Автор вопроса

Denny [Altinity]
каким образом сломалось? на самом деле bin невозм...

вечером эксплуатация делала alter table ... delete where ... не сделав бэкап. по итогу утром, когда меня уже позвали, имелось DB::Exception: Bad size of marks file ... 936, must be: 1248

0

19.10.2023

Denny [Altinity]

Anton Demenev
вечером эксплуатация делала alter table ... delete...

какая версия КХ? все запросы падают или только определенный? что если парт перемержить?

0

19.10.2023

ivan

Anton Demenev
вечером эксплуатация делала alter table ... delete...

если это skipping index ругается (мы ловили такое после мутации), то достаточно его перематериализовать

0

19.10.2023

Anton Demenev Автор вопроса

Denny [Altinity]
какая версия КХ? все запросы падают или только о...

падало что угодно, попадающее в этот парт. в итоге сделали детач партиции, сейчас я развлекаюсь с холодной копией данных. обратно фарш отказался провёртываться, что ожидаемо) попытка выполнить attach ... partition заканчивается primary.idx is unexpectedly long. холодная копия бралась 20.5.4.40, попытки работы с данными идут на 21.1.11.3.altinitystable

0

19.10.2023

Anton Demenev Автор вопроса

Denny [Altinity]
https://habr.com/ru/articles/539538/

спасибо! статья отличная!

0

19.10.2023

Denny [Altinity] · Accepted Answer

Denny [Altinity]

каким образом сломалось? на самом деле bin невозможно прочитать без idx и mrk

0

19.10.2023

184 похожих чатов

Всем привет! Возник вопрос по работе с низкоуровневыми данными после развала

7 ответов

Похожие вопросы