Привет! Подскажите, пожалуйста, может ли шардирование ускорять тяжёлый запрос с

Question

Привет! Подскажите, пожалуйста, может ли шардирование ускорять тяжёлый запрос с

агрегатами?

Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.

#backend #clickhouse #database #devops #programming #russian

0

03.03.2021

5 ответов

23 просмотра

Roman Voronov Автор вопроса

【D】【J】
ну в среднем случае ускоряет. (select sum(col) fro...

Большое спасибо. В моём случае очень много argMax по дате-времени действия с ключом на ~20 столбцов.

0

03.03.2021

Dmitry [Altinity] Titov

вы шардировали по какому ключу?

0

03.03.2021

Roman Voronov Автор вопроса

Dmitry [Altinity] Titov
вы шардировали по какому ключу?

Хороший вопрос, спасибо. Тоже проверю.

0

03.03.2021

Dmitry [Altinity] Titov

Roman Voronov
Хороший вопрос, спасибо. Тоже проверю.

Обычно хороший результат дает шардирование по высоко кардинальному ключу из GROUP BY в таком случае на каждом шарде стейт будет меньше в N (число шардов) раз, те быстрее

0

03.03.2021

【D】【J】 · Accepted Answer

ну в среднем случае ускоряет. (select sum(col) from distrtable). а если у вас аггрегат типа median, groupArray - который имеет гигантский стейт - замедлит. если у вас подзапросы возвращают все строки (только фильтруют чуток без аггрегаций) - замедлит, так как результат шлется на инициатор и ещё много разных "если" может быть

184 похожих чатов

Привет! Подскажите, пожалуйста, может ли шардирование ускорять тяжёлый запрос с

5 ответов

Похожие вопросы