Привет. Может кто подсказать в какую сторону смотреть для оптимизации

Question

Привет. Может кто подсказать в какую сторону смотреть для оптимизации

скорости работы запроса. Есть кластер с distributed табличкой, которая смотрит на 4 шарда, сами шарды не очень мощные (16ГБ RAM и 8 CPU типа xeonE3), так же есть на каждом шарде MV (AggregatedMergeTree) которая данные складирует по дням и так же сверху на эти MV есть distributed MV которая так же смотрит на эти 4 дочерних MV на шардах.

Данных в сумме в сырой distributed табличке в районе 20млрд строк (соответственно на каждом шарде в районе по 5млрд) за 1.5 месяца, соответственно в дневной MV их намного меньше построчно в районе 300млн, запрос с попаданием в индексы и group by по дате и нескольким другим интам выполняется вот так

416 rows in set. Elapsed: 14.606 sec. Processed 290.01 million rows, 21.50 GB (19.86 million rows/s., 1.47 GB/s.)
Как по мне достаточно медленно, занимает секунд 10 все это дело

Сама MV соотвественно сделана через колонки типа AggregateFunction(count), AggregateFunction(sum, Float32) и так далее

Если сделать просто count() from distributed за 1 месяц то получим вот такое дело
1 row in set. Elapsed: 3.591 sec. Processed 7.99 billion rows, 15.99 GB (2.23 billion rows/s., 4.45 GB/s.)
Что уже лучше

Вопрос, что с этим можно сделать не меняя железо? Сами данные максимально оптимизированы из серии UUID типы, а не строки, Uint16 там где он реально Uint16 и так далее

#backend #clickhouse #database #devops #programming #russian

0

20.07.2023

1 ответов

3 просмотра

Alex K · Accepted Answer

Alex K

Данные привести к правильным типам, EXPLAIN и просмотр утилизации ресурсов в момент запроса, комплексная борьба за секунды

0

11 месяцев назад

184 похожих чатов

Привет. Может кто подсказать в какую сторону смотреть для оптимизации

1 ответов

Похожие вопросы