Всем привет! Может кто-то использовал S3 в качестве cold storage? Есть

Question

Всем привет! Может кто-то использовал S3 в качестве cold storage? Есть

вопрос: можно ли заставить кх автоматически создавать подпапку для каждой таблицы? В данный момент подпапка прописана в endpoint в конфиге, но желания создавать отдельный storage_configuration для каждой таблицы никакого нет, ибо как это всё потом поддерживать для большого числа таблиц — не очень понятно.

#backend #clickhouse #database #devops #programming #russian

0

01.06.2021

7 ответов

13 просмотров

Piotr Katvitski Автор вопроса

Dmitry [Altinity] Titov
Вы используете s3 диск? Он сам должен создавать п...

да не совсем, у меня в endpoint указано https://my-bucket-endpoint.amazonaws.com/cold ; заглядываю в cold — там куча партов лежит, без подпапки

0

01.06.2021

Dmitry [Altinity] Titov

Piotr Katvitski
да не совсем, у меня в endpoint указано https://my...

В каком виде? Может вы используете zero copy replication?

0

01.06.2021

Piotr Katvitski Автор вопроса

Dmitry [Altinity] Titov
В каком виде? Может вы используете zero copy repli...

У меня есть конфиг config_s3_cold.xml, в нём storage_configuration.disks.external — определён диск с типом s3, а также storage policy external_cold для хранения холодных данных, где указано два диска (локальный и s3). Далее я создал табличку с TTL date_field + INTERVAL 6 MONTH TO VOLUME 'external', начал заполнять её данные — в cold набросало партов. Вроде и логично, а хотелось, чтобы кх сам создал подпапку для таблицы

0

01.06.2021

Dmitry [Altinity] Titov

Piotr Katvitski
У меня есть конфиг config_s3_cold.xml, в нём stora...

Хм, надо будет посмотреть, но наверное это норм, кх сгенерирует им непересекающиеся названия

0

01.06.2021

Piotr Katvitski Автор вопроса

Dmitry [Altinity] Titov
Хм, надо будет посмотреть, но наверное это норм, к...

охотно верю, но в плане менеджмента это головная боль :( Есть, конечно, мысль создавать конфиг с кредами, а затем попробовать повозиться с <incl> и <replace> для того, чтобы конфиги для табличек генерились автоматом, но имхо реальная картина должна быть прекраснее, чем вот эта

0

01.06.2021

Pavel Kovalenko

Piotr Katvitski
У меня есть конфиг config_s3_cold.xml, в нём stora...

В самом S3 ничего по под-папкам не раскладывается. Там просто лежат обезличенные блобы, на которые ссылаются метафайлы с локальной FS.

0

01.06.2021

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

Вы используете s3 диск? Он сам должен создавать пути для каждой таблицы, разве нет?

0

01.06.2021

184 похожих чатов

Всем привет! Может кто-то использовал S3 в качестве cold storage? Есть

7 ответов

Похожие вопросы