Добрый день. Помогите, пожалуйста, разобраться. Делаю запрос из system.parts SELECT

Question

Добрый день. Помогите, пожалуйста, разобраться. Делаю запрос из system.parts SELECT

database,
formatReadableSize(sum(bytes_on_disk)) AS size
FROM system.parts
GROUP BY database
ORDER BY size DESC
получаю размер бд system ~10Gb и своей бд test ~240Gb. При это директория ../clickhouse/store имеет размер 293Гб. В ней только диры с трехзначным именем. Что ещё может лежать в этой дире кроме данных? Или как корректно проверять размер бд через SQL ?

#backend #clickhouse #database #devops #programming #russian

0

18.07.2023

11 ответов

22 просмотра

Yura Puzyrev Автор вопроса

Kifa
Для проверки размера БД использую такой запрос: ...

Спасибо, просто мне не совсем понятно, что ещё занимает ~40Гб на диске.

0

18.07.2023

Vladimir

Yura Puzyrev
Спасибо, просто мне не совсем понятно, что ещё зан...

А в system.detached_parts пусто?

0

18.07.2023

Yura Puzyrev Автор вопроса

Vladimir
А в system.detached_parts пусто?

Да, в таблице пусто. Но вот сейчас обнаружил что одна из таблиц была удалена через drop table, а данные на диске остались. Как такое могло получиться?

0

18.07.2023

Yura Puzyrev Автор вопроса

Yura Puzyrev
Да, в таблице пусто. Но вот сейчас обнаружил что о...

Также запрос, который читал данные из этой таблицы, почему-то не отстрелился после удаления этой таблицы и бежал 48 часов! Убил вручную, я так понимаю это он и нагенерил данных в tmp ?

0

18.07.2023

Vladimir

Yura Puzyrev
Да, в таблице пусто. Но вот сейчас обнаружил что о...

Там есть таймауты на удаление данных. Какой то таймаут 8 минут old_parts_lifetime, другой сутки (`temporary_directories_lifetime`), не помню какой именно за удаление дропнутых данных (кажется что первый).

0

18.07.2023

Vladimir

Yura Puzyrev
Также запрос, который читал данные из этой таблицы...

tmp для запроса (который временные данные для внешней сортировки и аггрерации, если включены) не в store, а в /var/lib/clickhouse/tmp

0

18.07.2023

Yura Puzyrev Автор вопроса

Vladimir
Там есть таймауты на удаление данных. Какой то тай...

Спасибо, посмотрю, однако сейчас удалил другую таблицу и она дропнулась почти молниеносно, и данных не осталось на диске.

0

18.07.2023

Vladimir

На диске в store нет партов с такими префиксами: find ./store -name 'tmp*' -o -name 'delete_tmp_*' -o -name 'tmp-fetch_*' ?

0

18.07.2023

Yura Puzyrev Автор вопроса

Vladimir
На диске в store нет партов с такими префиксами: ...

Таких партов нет

0

18.07.2023

Slach [altinity]

эти каталоги это префиксы... внутри там каталоги с именем которое является uuid таблицы

0

18.07.2023

Kifa · Accepted Answer

Для проверки размера БД использую такой запрос: SELECT database, table, formatReadableSize(sum(data_compressed_bytes) AS size) AS compressed, formatReadableSize(sum(data_uncompressed_bytes) AS usize) AS uncompressed, round(usize / size, 2) AS compr_rate, sum(rows) AS rows, count() AS part_count FROM system.parts WHERE (active = 1) AND (database LIKE '%') AND (table LIKE '%') GROUP BY database, table ORDER BY size DESC;

184 похожих чатов

Добрый день. Помогите, пожалуйста, разобраться. Делаю запрос из system.parts SELECT

11 ответов

Похожие вопросы