Всем спасибо, что откликнулись. Вижу такую настройку в кластере, но при

Question

Всем спасибо, что откликнулись. Вижу такую настройку в кластере, но при

нажатии чекбокса будто бы не дофига новых вещей нужно настроить.

т.е., насколько я понимаю, положить свой адрес бакета, куда хочешь, чтобы это складывалось - нельзя.

А если у меня уже есть бакет, и хотелось бы писать именно в него?
Это возможно?

#backend #clickhouse #database #devops #programming #russian

0

15.07.2023

11 ответов

9 просмотров

Vitalik Автор вопроса

all ow
мин.доля - это move_factor. то есть, если ставишь...

Спасибо! Прости, можешь объяснить последнее предложение, что имеешь в виду?

0

10 месяцев назад

all ow

Vitalik
Спасибо! Прости, можешь объяснить последнее предло...

что данные, которые у тебя в S3 будут, их можно будет переместить обратно на SSD, если возникнет такая необходимость.

0

10 месяцев назад

Vitalik Автор вопроса

all ow
что данные, которые у тебя в S3 будут, их можно бу...

Понял, то есть это не подкапотным "планировщиком" определяется, а по сути физически. Тогда, если я правильно понял, механизм такой: Допустим, у меня таблица партиционирована по дням (данных за12 месяцев, TTL = 3 месяца) (кстати, непонятно как это для непартиционированных таблиц определяется. Ведь настройка одна на весь кластер) И при достижении каких-то условий партиция (самая старая) просто физически переносится в S3. т.е. в селекте с кластера больше вообще не участвует никак (ни в медленном, ни в каком) И если мне вдруг надо, то я: 1) либо делаю еще одну S3-engine таблицу, чтобы читать напрямую с S3 те партиции, которые уже там, и в финальном селекте делаю, например, union, с теми 3мя месяцами, что я получил с кластера, чтобы получить весь год 2) либо как-то освобождаю место, и физически ее копирую обратно на кластер, аттачу к таблице и селекчу

0

10 месяцев назад

all ow

не понял про S3 engine таблицы, они не нужны вообще. TTL задается как глобально - это move factor. Он сам начнет парты перемещать при достижении 90% заполненности диска, но лучше до этого не доводить, а контролировать самому с помощью TTL на таблицы. и либо как в твоем случае, на таблицу, синтаксис выше. Таблицы обычные MergeTree. У тебя обычная таблица MergeTree, просто часть данных будет лежать на SSD, часть в S3. КХ сам сходит в S3, если запросишь даннные больше 3х месяцев например.

0

10 месяцев назад

Vitalik Автор вопроса

all ow
не понял про S3 engine таблицы, они не нужны вообщ...

Угу, понял. Если КХ сам может и туда и туда пойти, то да, s3engine не нужна

0

10 месяцев назад

dslimp

all ow
не понял про S3 engine таблицы, они не нужны вообщ...

я вообще три диска настраивал - первый ссд, последние данные, второй крупный рейд, на hdd, и треий - уже s3 amazon)

0

10 месяцев назад

all ow

Vitalik
Угу, понял. Если КХ сам может и туда и туда пойти,...

ага, вот прочитай небольшую статью, тут весь синтаксис и краткое описание что к чему от Kazan Express. https://cloud.yandex.ru/blog/posts/2022/11/clickhouse-kazanexpress

0

10 месяцев назад

Vitalik Автор вопроса

all ow
ага, вот прочитай небольшую статью, тут весь синта...

благодарю!

0

10 месяцев назад

all ow

dslimp
я вообще три диска настраивал - первый ссд, после...

то есть cold, hot, warm грубо говоря) ну это on-prem, managed ch вроде бы умеет только гибридное хранение с s3 свое, амазон не подключишь или селектел тот же)

0

10 месяцев назад

dslimp

all ow
то есть cold, hot, warm грубо говоря) ну это on-p...

а, ну да, self хостед ch, не облако, забыл упомянуть)

0

10 месяцев назад

all ow · Accepted Answer

мин.доля - это move_factor. то есть, если ставишь 0.1, то если диск забьется на 90% - Яндекс будем сам переносить парты в s3. свой бакет я думаю, что нельзя, так как не понятно зачем. Но лучше уточни у поддержки) Парты с S3 обратно на диск ты сможешь переносить и так.

184 похожих чатов

Всем спасибо, что откликнулись. Вижу такую настройку в кластере, но при

11 ответов

Похожие вопросы