Добрый вечер еще раз. левая таблица большая(700кк), справа два справочника(45к, 300

Question

Добрый вечер еще раз. левая таблица большая(700кк), справа два справочника(45к, 300

строк).
к первому по двум столбцам any left join (по дате и ид), ко второму по ид. Проблема в производительности.
Нужно это для того, чтобы если из первого справочника совпадений не найдено, то во втором точно будут. Это все для coalesce в select.
DJ пытался мне помочь(select tableft join (select t1 join t2 on t1.id=t2.id)), но, к сожалению, это не помогает, потому что соединение левой и правой части должно быть по 2 полям(чтобы совместить дату и ид.)
Мб есть какие-то еще варианты?
Примерный вид запроса такой:
select t.val, coalesce(t1.val1, t2.val2) from t
any left join t1 on t.date=t1.date and t.id=t1.id
any left join t2 on t.id=t2.id

#backend #clickhouse #database #devops #programming #russian

0

18.09.2020

11 ответов

6 просмотров

Clir Автор вопроса

Denny [Altinity]
select tval, coalesce(t1val1, t2.val2) from (se...

эх, к сожалению перепробовал много различных вариантов, пока не устраивает. Иногда падает по памяти еще такая штука.

0

18.09.2020

Denny [Altinity]

Clir
эх, к сожалению перепробовал много различных вариа...

покажите строку со статистикой моего варианта и вашего

0

18.09.2020

Clir Автор вопроса

Denny [Altinity]
покажите строку со статистикой моего варианта и ва...

1 - после переписки запроса на то, аналогично вашему примеру 2 - исходных запрос, который падал по памяти 216 rows in set. Elapsed: 68.818 sec. Processed 579.62 million rows, 23.27 GB (8.42 million rows/s., 338.21 MB/s.) 216 rows in set. Elapsed: 24.574 sec. Processed 710.20 million rows, 26.63 GB (28.90 million rows/s., 1.08 GB/s.)

0

18.09.2020

Denny [Altinity]

Clir
1 - после переписки запроса на то, аналогично ваш...

загадочно, чушь какая-то, а если поздапрос который t join t1 какая статистика

0

18.09.2020

【D】【J】

только сейчас понял что вам надо ) так можете попробовать ещё select t.val, tboth.val from t LEFT ASOF JOIN ( select t1.date, t1.val from t1 UNION ALL select toDate(1) as date, t2.val from t2 ) tboth on t.id=t1.id and t.date<=t1.date;

0

18.09.2020

leprosorium S

【D】【J】
только сейчас понял что вам надо ) так можете поп...

благодарствую, попробую)

0

19.09.2020

Clir Автор вопроса

【D】【J】
только сейчас понял что вам надо ) так можете поп...

такое( ASOF join not supported for type: UInt16 версия 20.1.3.7

0

19.09.2020

【D】【J】

Clir
такое( ASOF join not supported for type: UInt16 ве...

Да лаадно Can be one of the following types: Int, UInt, Float*, Date, DateTime, Decimal*.

0

19.09.2020

【D】【J】

Clir
такое( ASOF join not supported for type: UInt16 ве...

https://t.me/clickhouse_ru/132938 да, чините версию

0

19.09.2020

【D】【J】

Clir
такое( ASOF join not supported for type: UInt16 ве...

если не можете обновить скастите в UInt и все ок будет

0

19.09.2020

Denny [Altinity] · Accepted Answer

Denny [Altinity]

select tval, coalesce(t1val1, t2.val2) from (select t.val tval, t1.val t1val1, t.id tid from t any left join t1 on t.date=t1.date and t.id=t1.id) z any left join t2 on tid=t2.id

0

18.09.2020

184 похожих чатов

Добрый вечер еще раз. левая таблица большая(700кк), справа два справочника(45к, 300

11 ответов

Похожие вопросы