Доброй ночи, интересует ваш опыт, каков оптимальный размер партиции и

Question

ClickHouse не тормозит

Artem Benois

Доброй ночи, интересует ваш опыт, каков оптимальный размер партиции и

при каких условиях
т.е. как можно просчитать не перебирая варианты?

#backend #clickhouse #database #devops #programming #russian

0

10.04.2020

1 ответов

8 просмотров

【D】【J】 · Accepted Answer

тут лучше все таки отталкиваться от кейса и того какие поля будут в условиях запроса, и пробовать, переменных очень много.. но, например допустим что мы хеш-партицируем по некоему ИД, который можем сами выставить и все запросы будут иметь его в условии (хотя на деле так вряд ли не будет). все равно нужна куча вводных данных. - если средний запрос читает 10 колонок по 32 байта, которые сжимаются 20х в среднем (320/7=1,6байт на строку), нужно чтоб вернулся за секунду. - условно есть 16 потоков, которые будут тупить не в ИО 40% времени. т.е. бюджет времени на ИО - 600 мс - диск позволяет выжать 400МБ/с в сумме на 16 потоков. за 600мс прочтём 240 МБ. - условно учитывая 240МБ/1,6б=150 миллиона строк. ————- на деле без реальных тестов и паттернов (какого рода запросы и сами данные, как сжимается, как считается, как вставляется, где узкое место запросов и являются ли они узким местом вообще, какое распределение запросов, итд) тут сложно что то реально рассчитать, что ни собирайте, все равно получите автомат Калашникова...

184 похожих чатов

Доброй ночи, интересует ваш опыт, каков оптимальный размер партиции и

1 ответов

Похожие вопросы