Здравствуйте, очень сильно разрослась таблица, решил настроить мув старых\холодных данных

Question

Здравствуйте, очень сильно разрослась таблица, решил настроить мув старых\холодных данных

в s3.
Создал такую таблицу:
create table new
(
id UInt64,
key1 String,
key2 String,
created DateTime,
created_date Date

)
engine = MergeTree
partition by created_date
ORDER BY (key1, key2)
TTL toStartOfDay(created, 'UTC') + interval 1 year to volume 's3'
SETTINGS storage_policy = 'tiered';

перегнал туда данные со старой таблицы (~500GB), запросы по таблице работают, но сама таблица (/var/lib/clickhouse-server/data/new) весит 60KB.
таблица по пути /var/clickhouse-server/disks/s3/data/new весит 880Мб,
таблица по пути /var/clickhouse-server/disks/s3/cache/new весит 809Мб.

Такое чувство, что все данные ушли на s3 (включительно с последним годом)
Я же расчитывал что данные за последний год останутся на диске.
Что я делаю не так?

#backend #clickhouse #database #devops #programming #russian

0

11.11.2021

7 ответов

3 просмотра

Serhiy Hetsko Автор вопроса

Slach [altinity]
SELECT * FROM system.storage_policies FORMAT Verti...

0

11.11.2021

Slach [altinity]

Serhiy Hetsko

так, SELECT engine, name FROM system.databases посмотрите? если Atomic для той базы данных которая у вас в new таблице тогда смотрите /var/lib/cickhouse/storage/db/new в /var/lib/clickhouse/data/db/new теперь только симлинки для atomic

0

11.11.2021

Serhiy Hetsko Автор вопроса

Slach [altinity]
так, SELECT engine, name FROM system.databases пос...

там ordinary engine

0

11.11.2021

Slach [altinity]

Serhiy Hetsko
там ordinary engine

странно тогда =( текущий сторейдж должен оставить последний год на default если default на 90% занят, тогда перегнать на s3 см. move_factor

0

11.11.2021