Всем привет, коллеги, такой вопрос, как много записей может обрабатывать

Question

Всем привет, коллеги, такой вопрос, как много записей может обрабатывать

1 нода кликхауса, без тормозов? Просто сейчас у меня что-то вроде 200 млн записей, а кликхаусу плохо запросы с дистинктом по минуте а то и больше выполняются, смотрю разные видео по оптимизации, но ничего применить особо не могу в силу специфики надо хранить длинные строки( Встаёт вопрос поднятия второго кликхауса и вот стало интересно а какой предел у одной ноды?

#backend #clickhouse #database #devops #programming #russian

0

22.05.2023

2 ответов

21 просмотр

iks

тюнил недавно CH по перф IO до оптимизации было Read 466460102 rows, 35.19 GiB in 22.494785 sec., 20736366.317793213 rows/sec., 1.56 GiB/sec. потом поменял PARTITION BY и ORDER BY исходя из условий запроса и кардиналити потом докинул проекции на агрегаты (pre-computed) и материализовал проекции сейчас один и тот же селект (count(DISTINCT deviceId) AS metricValue) берет на одинаковом датасете в этом же поде с такими же ресурсами Read 62 rows, 250.30 KiB in 0.259682 sec., 238.7535524218082 rows/sec., 963.87 KiB/sec.

0

22.05.2023

Pavel B. · Accepted Answer

Pavel B.

Вряд ли добавление год что-то ускорит. По всей видимости что-то не так у вас в самой структуре таблицы и\или запросе. 200 млн. строк для клика это прям смешное кол-во.

0

22.05.2023

184 похожих чатов

Всем привет, коллеги, такой вопрос, как много записей может обрабатывать

2 ответов

Похожие вопросы