184 похожих чатов

Спасибо за пищу для размышлений. Как правило, запрос звучит как

"дай метрику за адекватный интервал типа час". то есть, оптимизировать, наверное, надо его.

Может быть, есть ещё смысл кодеки крутить. Если чтений будет по меньшему объему — это ведь лучше скажется на производительности? Или дельта и даблдельта будут проц кушать?

1 ответов

10 просмотров

У нас влетает в 3 реплики 40М точек графита в минуту, запросов около 3к в минуту, партиции помесячные, выгребают grafana -> carbonapi -> graphite-clickhouse -> clickhouse-server, большинство графиков(в том числе и топы из тысяч метрик) выполняются 1-5 секунд. Было несколько тех, что исполнялись по 5 секунд, через плагин пустили их прямо в КХ проагрегировать, сейчас они 150 мс длятся. Думаю, тут дело не в партиционировании, а в запросе/шардинге, на наших данных добавление на столбец time кодека Дельта+LZ4 дало замедление мерджей в 2-3 раза, хотя в серверах страйп из 10 ССД, и ещё у нас вчетверо увеличен index_granularity таблицы, но не думаю, что это влияет При использовании дополнительной ревресивной таблицы с подневным партиционированием и хранением 2х дней(чтение из нее - макс 48 часов, но это 99% запросов) снизили нагрузку втрое, сейчас двухсуточные данные писать/читать может вытянуть 1 сервер.

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Карта сайта