А кто нибудь ещё живет с непустыми shadow прям на

Да конечно. Допустим у меня есть ssd первым приоритетом и hdd вторым, есть некоторый move_factor. Вот я делаю freeze. Вот кликхаус стаскал с ssd на hdd какие то парты. Предложения как поступить дальше? Я думал над тем чтобы искать в parts_log мувы и перефриживать их прицельно.

0

25.12.2021

Slach [altinity]

Константин Трофимов
Да конечно. Допустим у меня есть ssd первым приори...

При move У вас хардлинк inode и аккокация физического места сохраняется Вам сначала надо shadow чистить А какой смысл вообще старые парты держать кроме как для бекапа? И какой смысл в бекапе на том же диске?

0

26.12.2021

Константин Трофимов Автор вопроса

Slach [altinity]
При move У вас хардлинк inode и аккокация физическ...

Все так, вы совершенно правы, сохраняется. В этом то и вопрос, как бы их актуализировать чтоб из shadow на ssd пропало и в shadow на hdd появилось. И так же хардлинком. И наиболее оптимальным способом. И желательно максимально своевременно, потому что КХ не учитывает наличие такого хардлинка, что вобщем то и логично. А вот мне надо какой то такой механизм ( В этом то и проблема. Смысл такого бэкапа, я б назвал его снапшотом, в том что данных много, и таскать куда то на холодное хранение дорого. Реплик три штуки на шард, снапшотятся все реплики. Потеря одной означает что ещё на 2-х останется такой снапшот.

0

26.12.2021

Slach [altinity]

Константин Трофимов
Все так, вы совершенно правы, сохраняется. В этом ...

Вы не ответили на вопрос зачем вам хардлинки Какую проблему вы решаете? Если горячее резервирование то вы решаете ее не правильно

0

26.12.2021

Константин Трофимов Автор вопроса

Slach [altinity]
Вы не ответили на вопрос зачем вам хардлинки Какую...

У меня нет проблемы горячего резервирования, у меня 3 реплики на шард, две справляются в случае отказа одной, я проверял. Хардлинки мне для бэкапов, и я их делаю локально. Какую проблему решаю озвучил в первом сообщении, давайте перешлю )

0

26.12.2021

Константин Трофимов Автор вопроса

@BloodJazMan , вот она проблема, переслал )

0

26.12.2021

Slach [altinity]

Константин Трофимов
У меня нет проблемы горячего резервирования, у мен...

Хардлинк это не бекап Бекап это копия данных которая хранится хотя бы на другом диске А лучше на другой машине

0

26.12.2021

Константин Трофимов Автор вопроса

Slach [altinity]
Хардлинк это не бекап Бекап это копия данных котор...

У меня 3 реплики, по отношению к одной две другие это как раз другой диск и другая машина. Вы понимаете что такое хардлинк? Это то что позволяет мне пару петов сэкономить на резервном копировании. Очень дорого таскать такой объем данных куда то ещё на холодное хранение. Поэтому поставил вопрос сразу так как поставил, но мы не ищем ответ а спорим о понятиях )

0

26.12.2021

Slach [altinity]

Константин Трофимов
@BloodJazMan , вот она проблема, переслал )

Это не проблема Это попытка ликвидации последствий неправильного решения Хардлинки для бекапов нужны только для консистентности перед upload на remote storage

0

26.12.2021

Boris

Константин Трофимов
У меня 3 реплики, по отношению к одной две другие ...

у вас какая-та очень необычная задачка. Даже интересно стало. Обычно бекапы делают против гибели дисков и машин. Против этих рисков отлично спасает replicated. Заодно и пиковые нагрузки сглаживает. И не надо одномоментно качать пентабайты. А вы какой риск преодолеваете? Враги хакнут и заинсертят что-то такое что испортит аналитику? Или вы сами в измененном сознании запустите alter table delete where 1? Или что?

0

26.12.2021

Bulat Ziganshin

Boris
у вас какая-та очень необычная задачка. Даже интер...

как раз в любом осуждении backup vs raid1 говорится, что raid не предотвратит ошибочного удаления данных

0

26.12.2021

Константин Трофимов Автор вопроса

Boris
у вас какая-та очень необычная задачка. Даже интер...

Да, именно так. Реплики для ошибок железа, бэкапы для ошибок людей. По классике )

0

26.12.2021