Добрый вечер! Создаю две таблички ReplicatedReplacingMergeTree с одинаковой структурой, но одну

Question

Добрый вечер! Создаю две таблички ReplicatedReplacingMergeTree с одинаковой структурой, но одну

из них с опцией index_granularity=512
Делаю одинаковые запросы с группировкой по полям из ключа сортировки.
В результате имею следующую производительность.
1. Табличка с index_granularity по умолчанию
Elapsed: 0.303 sec. Processed 33.22 million rows, 1.56 GB (109.68 million rows/s., 5.16 GB/s.)

2. Табличка с index_granularity=512
Elapsed: 0.449 sec. Processed 15.93 million rows, 674.70 MB (35.50 million rows/s., 1.50 GB/s.)

Как можно заметить, в первом случае с диска прочитано почти в 2 раза больше строк данных, но запрос отработал быстрее чем во втором случае.
Соответсвенно вопрос.
Почему так? Ведь по логике, при уменьшении гранулярности увеличивается размер индекса в памяти и клику нужно меньше данных считывать с диска для обработки запроса. По факту, хоть и меньше данных считали, но сам запрос работает дольше.

#backend #clickhouse #database #devops #programming #russian

0

18.10.2021

8 ответов

22 просмотра

Sergey Ageev Автор вопроса

Konstantin Ilchenko
например надо больше раз читать, вы читаете в ~2 р...

Спасибо! Какие опции клика можно еще глянуть, для ускорения выборки? Сейчас в обоих вариантах пиковый расход памяти около 1GB, можно ли выделить больше памяти для ускорения запроса?

0

18.10.2021

Konstantin Ilchenko

Sergey Ageev
Спасибо! Какие опции клика можно еще глянуть, для ...

неплохо было бы показать как создана таблица и что за запрос, возможно вам поможет optimize_aggregation_in_order = 1 если ещё не включен

0

18.10.2021

Sergey Ageev Автор вопроса

Konstantin Ilchenko
неплохо было бы показать как создана таблица и что...

Спасибо! optimize_aggregation_in_order = 1 не дает эффекта (

0

18.10.2021

【D】【J】

в слепую (ни запроса, ни трейсов) очень сложно... max_bytes_before_external_group_by=0,group_by_two_level_threshold=0,group_by_two_level_threshold_bytes=0,optimize_move_to_prewhere=0

0

18.10.2021

Sergey Ageev Автор вопроса

【D】【J】
в слепую (ни запроса, ни трейсов) очень сложно... ...

Спасибо! Пойду изучать!

0

18.10.2021

Denny [Altinity]

optimize final делался? возможно тупо партов было больше случайно. возможно меньше было потоков, хотя на миллионах строк гранул бы должно хватить. потоки делят работу с помощью гранул SET send_logs_level = 'trace'; дальше запрос и получаете трассу

0

18.10.2021

Sergey Ageev Автор вопроса

Denny [Altinity]
optimize final делался? возможно тупо партов было ...

optimize final делался. Спасибо, буду трейс изучать

0

18.10.2021

Konstantin Ilchenko · Accepted Answer

Konstantin Ilchenko

например надо больше раз читать, вы читаете в ~2 раза меньше строк, но делаете это в 8192 / 512 = 16 раз менее эффективно. Имеет смысл ставить маленькую гранулярность только если вам надо вычитавыть единичные строки.

0

18.10.2021

184 похожих чатов

Добрый вечер! Создаю две таблички ReplicatedReplacingMergeTree с одинаковой структурой, но одну

8 ответов

Похожие вопросы