`Select a,b from test.table WHERE

Question

`Select a,b from test.table WHERE

pr_dttm > (select max(pr_dttm) from test.table2) limit 200`
запрос выполняется адово долго, как будто он каждый раз считает величину из подзапроса, при том что считать ее надо ровно один раз. Раньше считалось быстро - кто-нибудь знает, это лечится какой-то опцией?

#backend #clickhouse #database #devops #programming #russian

0

11.03.2021

24 ответов

18 просмотров

Vsevolod Автор вопроса

То есть подзапрос не кэшируется а должен бы

0

11.03.2021

Denny [Altinity]

Vsevolod
То есть подзапрос не кэшируется а должен бы

Версия кх раньше и версия теперь?

0

11.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
Версия кх раньше и версия теперь?

теперь 21.2.4.6, до этого хз

0

11.03.2021

Denny [Altinity]

а если where заменить на PREWHERE? select a,b from test.table PREWHERE pr_dttm > (select max(pr_dttm) from test.table2) limit 200

0

11.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
а если where заменить на PREWHERE? select a,b from...

не помогает, а вот если туда конкретную дату вставить - все летает

0

11.03.2021

Denny [Altinity]

Vsevolod
не помогает, а вот если туда конкретную дату встав...

интересно где это сломали, наверное кстати через with можно with (select max(pr_dttm) from test.table2) as x select a,b from test.table WHERE pr_dttm > x limit 200

0

11.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
интересно где это сломали, наверное кстати через w...

не помогло(

0

11.03.2021

Denny [Altinity]

Vsevolod
не помогло(

ОК, а сам подазпрос вообще насколько быстр? select max(pr_dttm) from test.table2

0

11.03.2021

Dmitry [Altinity] Titov

Vsevolod
не помогло(

А какая кстати версия кх?

0

11.03.2021

Denny [Altinity]

Dmitry [Altinity] Titov
А какая кстати версия кх?

теперь 21.2.4.6, до этого хз

0

11.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
ОК, а сам подазпрос вообще насколько быстр? selec...

0.4 мс

0

11.03.2021

Denny [Altinity]

Vsevolod
0.4 мс

для начала да вам надо обновится >мб обновится на самый последний 21.2

0

11.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
для начала да вам надо обновится >мб обновится на...

штош, попробуем

0

11.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
для начала да вам надо обновится >мб обновится на...

Обновился, не помогло, подзапрос все ещё выполняется каждый раз

0

12.03.2021

Denny [Altinity]

не воспроизводится create table t(a Int64, b Int64, p DateTime) Engine=MergeTree order by a; create table t2(a Int64, b Int64, p DateTime) Engine=MergeTree order by a; insert into t(a) select number from numbers(100000000); insert into t(a, p) select number, now() from numbers(1); insert into t2(a) select number from numbers(100000000); insert into t2(a, p) select number, now()-3600 from numbers(1); select a,b from t WHERE p > (select max(p) from t2) limit 200;

0

12.03.2021

Vsevolod Автор вопроса

Vsevolod
Обновился, не помогло, подзапрос все ещё выполняет...

кажется я понял, оптимизатор не понимает, по какой именно дате я ограничил запрос, и он фулсканит таблицу, что довольно фатально. Может есть какая опция?

0

14.03.2021

Denny [Altinity]

Vsevolod
кажется я понял, оптимизатор не понимает, по какой...

может уже какие-нибудь примеры, хотя бы ddl ?

0

14.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
может уже какие-нибудь примеры, хотя бы ddl ?

CREATE TABLE bmmm.debts ( StartedDateTime DateTime , FinishedDateTime DateTime COMMENT 'не заполняется', Network String , ID String , CreatedRec DateTime COMMENT 'дата создания записи ClickHouse', RowCreatedAt DateTime DEFAULT now(), INDEX IdxRowCreatedAt RowCreatedAt TYPE minmax GRANULARITY 1 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/{installation}/{cluster}/tables/{shard}/bmmm/debts', '{replica}') PARTITION BY toYYYYMM(StartedDateTime) PRIMARY KEY StartedDateTime ORDER BY (StartedDateTime, Network, ID) SETTINGS index_granularity = 8192

0

14.03.2021

Denny [Altinity]

Vsevolod
CREATE TABLE bmmm.debts ( StartedDateTime Date...

можно увидеть вывод set send_logs_level='debug' и потом запрос select .... fromat Null

0

14.03.2021

Vsevolod Автор вопроса

Denny [Altinity]
можно увидеть вывод set send_logs_level='debug' и...

это только в консоли можно сделать или в условном дбивере тоже?

0

14.03.2021