Как правильно сравнивать производительность разных схем таблиц? Взял одни и те

Question

Как правильно сравнивать производительность разных схем таблиц? Взял одни и те

же данные, и хотел проверить разные варианты:
1. Партишн toYYYYMM
2. Партишн toYYYYMMDD
3. Партишн toYYYYMM + ZSTD
4 Партишн toYYYYMMDD + ZSTD
5. Партишн toYYYYMM + ZSTD + index_granularity
6 Партишн toYYYYMMDD + ZSTD + index_granularity

Проблема в том что если делать несколько запросов к одной и тойже таблице, результаты отличаются в 2-3 раза на одном и том же запросе.

Сервак чисто для теста. SSD. Кроме КХ ничего нет. Работаю один. Т.е. списать отличия по времени исполнения на паралельные процессы — сложно.

#backend #clickhouse #database #devops #programming #russian

0

29.12.2020

6 ответов

17 просмотров

Denis Bazhenov

Если Linux, то точно следует очистить page cache перед прогоном "sync; echo 1 > /proc/sys/vm/drop_caches".

0

29.12.2020

Sergey Churin

Если настройки не помогут, делаем условно по 10 запросов каждого типа (желательно не по порядку, с прогоном другого левого запроса между ними, и с паузой между каждым запросом), берем медианное время по каждому.

0

29.12.2020

Ada Min Автор вопроса

Oleg Gavrilov
Может что-то по поводу нового explain лучше смотре...

Explain вроде дает общую информацию, но при этом не могу проверить что чтение проходит только с одной партиции (когда все нужные данные внутри одного дня, и партиции были разбиты по дням). Или оценить скорость чтения/распаковки данных при использовании разных кодеков

0

29.12.2020

Ada Min Автор вопроса

Sergey Churin
Если настройки не помогут, делаем условно по 10 за...

Дисперсия очень большая. Т.е. статистически, по итогу получаем не достоверные данные.

0

29.12.2020

Ada Min Автор вопроса

Denis Bazhenov
Если Linux, то точно следует очистить page cache п...

Не помогло. По прежнему результаты на одной и той же таблицы и для одного запроса отличаются в 2 раза

0

29.12.2020