Спасибо за пищу для размышлений. Как правило, запрос звучит как

Question

Спасибо за пищу для размышлений. Как правило, запрос звучит как

"дай метрику за адекватный интервал типа час". то есть, оптимизировать, наверное, надо его.

Может быть, есть ещё смысл кодеки крутить. Если чтений будет по меньшему объему — это ведь лучше скажется на производительности? Или дельта и даблдельта будут проц кушать?

#backend #clickhouse #database #devops #programming #russian

0

25.07.2019

1 ответов

8 просмотров

Vadim Metikov · Accepted Answer

У нас влетает в 3 реплики 40М точек графита в минуту, запросов около 3к в минуту, партиции помесячные, выгребают grafana -> carbonapi -> graphite-clickhouse -> clickhouse-server, большинство графиков(в том числе и топы из тысяч метрик) выполняются 1-5 секунд. Было несколько тех, что исполнялись по 5 секунд, через плагин пустили их прямо в КХ проагрегировать, сейчас они 150 мс длятся. Думаю, тут дело не в партиционировании, а в запросе/шардинге, на наших данных добавление на столбец time кодека Дельта+LZ4 дало замедление мерджей в 2-3 раза, хотя в серверах страйп из 10 ССД, и ещё у нас вчетверо увеличен index_granularity таблицы, но не думаю, что это влияет При использовании дополнительной ревресивной таблицы с подневным партиционированием и хранением 2х дней(чтение из нее - макс 48 часов, но это 99% запросов) снизили нагрузку втрое, сейчас двухсуточные данные писать/читать может вытянуть 1 сервер.

184 похожих чатов

Спасибо за пищу для размышлений. Как правило, запрос звучит как

1 ответов

Похожие вопросы