Всем привет. Есть таблица с партиционированием по toYYYYMMDD(ts), где ts имеет

Question

Всем привет. Есть таблица с партиционированием по toYYYYMMDD(ts), где ts имеет

тип Date.

И есть два варианта условия в запросе:
1. where ts = today()
2. where toYYYYMMDD(ts) = toYYYYMMDD(today())

Скажите, пожалуйста, КХ в обоих случаях будет работать только с одной партицией или только во втором?

#backend #clickhouse #database #devops #programming #russian

0

26.01.2021

7 ответов

8 просмотров

Alexey Sokolov Автор вопроса

Slach [altinity]
``` SELECT toTypeName(toYYYYMMDD(now()), toTypeNam...

Спасибо. Прочитал здесь, что КХ умеет отбрасывать ненужные партиции и добавил везде проверки, но, как выяснилось, неправильные))

0

26.01.2021

Slach [altinity]

Alexey Sokolov
Спасибо. Прочитал здесь, что КХ умеет отбрасывать...

извините фигню написал toUInt32(today()) у вас как раз и происходит ну вообще то что toYYYYMMDD возвращает UInt32 и что это YYYYMMDD в виде числа это надо по доке понять =) вообще у clickhouse с преобразованием типа беда хорошо если исключение кидается но в вашем случае просто молча глотает и делает преобразование в UInt32 но число получается ДРУГОЕ и делает фуллскан потому что не может определить быстро партицию SELECT toUInt32(today()), toYYYYMMDD(today()); два разных числа получаются

0

26.01.2021

Aleksey Barabanov

Slach [altinity]
извините фигню написал toUInt32(today()) у вас как...

но при этом результат выборки корректный в обоих случаях, это влияет только на использование/не использование партиций

0

26.01.2021

Alexey Sokolov Автор вопроса

Slach [altinity]
извините фигню написал toUInt32(today()) у вас как...

Что типы разные - это я понял, а вот что по умолчанию делается toUInt32() вместо toYYYYMMDD() - этого и не учёл, верил в магию))

0

26.01.2021

Alexey Sokolov Автор вопроса

Aleksey Barabanov
но при этом результат выборки корректный в обоих с...

Именно. В моём случае это лишние несколько часов времени)

0

26.01.2021

Alexey Sokolov Автор вопроса

Slach [altinity]
извините фигню написал toUInt32(today()) у вас как...

Дополню - судя по всему, если ключ партиционирования содержится в ключе сортировки, то хватает и обычного ts = todate(), но если ключ партиционирования там отсутствует, то надо делать toYYYYMMDD(ts) = toYYYYMMDD(today()). Отсюда следует, что даже если партиционирование идёт по toYYYYMMDD от поля типа Date (т.е. в одной партиции всегда один день), то всё равно есть смысл добавлять это поле в ключ сортировки.

0

26.01.2021

Slach [altinity] · Accepted Answer

Slach [altinity]

``` SELECT toTypeName(toYYYYMMDD(now()), toTypeName(today()) ``` первое поле UInt32 второе Date в пермом случае у вас будет фуллскан во втором случае нормально отберутся партиции toUInt32(today()) тоже нормально сработает

0

26.01.2021

184 похожих чатов

Всем привет. Есть таблица с партиционированием по toYYYYMMDD(ts), где ts имеет

7 ответов

Похожие вопросы