184 похожих чатов

Всем привет! Возник вопрос по работе с низкоуровневыми данными после развала

партиции (повреждены idx, mrk).
Судя по документации, флаг force_restore_data работает только с репликацией, но есть возможность читать данные из файлов напрямую.
Пример из документации:

SELECT count( ) FROM file('primary-hits_UserID_URL.idx', 'RowBinary', 'UserID UInt32, URL String');

Может быть кто-нибудь видел тул, документацию или пример чтения данных из *.bin файлов? Описание MergeTree говорит, что в этих файлах данные идут блоками, каждый блок отдельно сжимается (по умолчанию LZ4).
Или может быть документацию о возможности пересчета служебных данных о таблице?

7 ответов

29 просмотров

каким образом сломалось? на самом деле bin невозможно прочитать без idx и mrk

https://habr.com/ru/articles/539538/

Anton-Demenev Автор вопроса
Denny [Altinity]
каким образом сломалось? на самом деле bin невозм...

вечером эксплуатация делала alter table ... delete where ... не сделав бэкап. по итогу утром, когда меня уже позвали, имелось DB::Exception: Bad size of marks file ... 936, must be: 1248

Anton Demenev
вечером эксплуатация делала alter table ... delete...

какая версия КХ? все запросы падают или только определенный? что если парт перемержить?

Anton Demenev
вечером эксплуатация делала alter table ... delete...

если это skipping index ругается (мы ловили такое после мутации), то достаточно его перематериализовать

Anton-Demenev Автор вопроса
Denny [Altinity]
какая версия КХ? все запросы падают или только о...

падало что угодно, попадающее в этот парт. в итоге сделали детач партиции, сейчас я развлекаюсь с холодной копией данных. обратно фарш отказался провёртываться, что ожидаемо) попытка выполнить attach ... partition заканчивается primary.idx is unexpectedly long. холодная копия бралась 20.5.4.40, попытки работы с данными идут на 21.1.11.3.altinitystable

Anton-Demenev Автор вопроса
Denny [Altinity]
https://habr.com/ru/articles/539538/

спасибо! статья отличная!

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта