Привет. небольшой вопрос по оптимизации выбора данных из партиций и

Question

Привет. небольшой вопрос по оптимизации выбора данных из партиций и

where.
если у меня партиции по датам и я
- делаю where date between (2 months or 6 months)
- делаю where date in (60 separate dates or 180 dates?)

на сколько значимо будет в производительности отличаться?
После чтения с диска CH уберет этот where из дальнейших фильтров? Есть ли инструмент визуального анализа исполнения плана запроса чтобы такие глупые вопросы больше не задавать =) ?

#backend #clickhouse #database #devops #programming #russian

0

08.09.2022

5 ответов

9 просмотров

Denny [Altinity]

у КХ вся мета-информация про все парты в памяти, КХ знает мин и макс значения для колоконок по которым партиционировано и это в памяти 1 partition pruning случается в самом начале, все в памяти. 2 primary index тоже в памяти целиком, проходим по индексу находим какие гранулы надо читать 3 если колонки есть котрые передвинуты в preweher - читаем их файлы отсекаем лишние гранулы 4 читаем остальные колонки по фильтрованным prewhere гранулам, фильтруем остальное и снова prewhere фильтры проверяются все, возможно что некоторые условия проверятся до 3х раз, на шагах 1, 3, 4.

0

08.09.2022

Юра Красильников Автор вопроса

Denny [Altinity]
у КХ вся мета-информация про все парты в памяти, К...

вот это прям крутое разъяснение =)

0

08.09.2022

Юра Красильников Автор вопроса

Denny [Altinity]
у КХ вся мета-информация про все парты в памяти, К...

3. специально не делали, а он не сам это делать будет по ПК? 4. прям вот то, что искал, да, то есть фильтры всегда все. спасибо!

0

08.09.2022