171 похожих чатов

Есть бд clickhouse размером чуть выше 1тб (метрики от графит

стека). Захотелось ее почистить немного, да, понимаю, что данные надо чистить партициями, но нам какие-то метрики надо оставить, а какие-то можно совсем удалить. Сlickhouse позволяет удалять данные построчно (это будет долго и делаться где-то в фоне) - вот на таком объеме это в какое-то адекватное время сделается? или с таким вопросом лучше в канал ch?

6 ответов

9 просмотров

Скорость чтения и записи на диск знаешь?

Andrey-A Автор вопроса
Ivan Kalinin
Скорость чтения и записи на диск знаешь?

на ноду, на которую пишется данные - ~30 IO/sec на read и 30/sec IO на write на каждый из дисков —> репликация —> нода с которой читаем - там около 10/sec IO

Andrey-A Автор вопроса
Grek 🇺🇦 G
30iops это что вообще за черепаха?

на сервере 10 SATA дисков, на каждый приходится по 30 IO/sec для r и w

при удалении КХ придется пересобрать заново все затронутые вашим запросом партиции. Так что все зависит от скорости ваших дисков и свободных ресурсов. Приготовьтесь к тому, что это будет медленно. Не хотите рисковать продом - мигрируйте одну партицию на тестовый инстанс и попробуйте удалить данные там. Потом экстраполируйте результат для прода.

Andrey A
на сервере 10 SATA дисков, на каждый приходится по...

тут не иопсы важны, а линейная скорость чтения/записи

Похожие вопросы

Обсуждают сегодня

Такой вопросец - есть функция function MySuperDuperConcat(const a: array of AnsiString): AnsiString; Как мне в её теле сделать вот так? Result:=Concat(a); А не грустный вариан...
notme
15
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
48
А чем вам питонисты не угодили?😂
.
79
Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
Всем здравствуйте! Я хотел узнать сколько стоит средняя месячная зарплата у Electron js разработчиков? Мне очень это важно и нужно, плиз помогите узнать эту инфу! Для Джунио...
U.K.
10
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
77
А дин типизация это хорошо или плохо?
Alexey
12
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Исходники плюс документация? Вы гоните)) демок хватит всем
zamtmn
11
Карта сайта