Добрый день. Подскажите как оптимизировать выборку через aggregatingmergetree? Есть таблица logs(datetime,

Question

Добрый день. Подскажите как оптимизировать выборку через aggregatingmergetree? Есть таблица logs(datetime,

host, url, response_time) order by (host, datetime)
И такой запрос:
select host, url, sum(response_time), avg(response_time), count(1) from logs where datetime > now - interval 1 hour group by host, url

Я понимаю как сделать таблицу с aggregating merge tree без учета datetime - то есть просто накопительная информация за все время
А хотелось бы получать информацию суммарно за последний час

Есть вариант добавить колонку toYYYYMMDDHH(datetime) в примак, но тогда не будет возможности получать информацию по времени не кратном часу, то есть, например, с 13:36 до 14:36

#backend #clickhouse #database #devops #programming #russian

0

02.03.2021

7 ответов

8 просмотров

Vik Kin Автор вопроса

Dmitry [Altinity] Titov
Ну тут либо шашечки, либо ехать смысл aggregating ...

Сделал MV ReplicatedAggregatingMT + Distributed При селекте из Distributed получаю ошибку: DB::Exception: Stack size too large. Stack address: 0x7f12c0ad4000, frame address: 0x7f12c0ed1f10, stack size: 4202736, maximum stack size: 8388608.

0

02.03.2021

Dmitry [Altinity] Titov

Vik Kin
Сделал MV ReplicatedAggregatingMT + Distributed Пр...

Это бага какая то, пишите на гитхаб. И покажите таблицы

0

02.03.2021

Vik Kin Автор вопроса

Dmitry [Altinity] Titov
Это бага какая то, пишите на гитхаб. И покажите та...

Переименовал таблицу на которую смотрит дистрибьютед после создания -_ -

0

02.03.2021

Dmitry [Altinity] Titov

Vik Kin
Переименовал таблицу на которую смотрит дистрибьют...

Попробуйте это повторить на современной версии кх 21.3 и если повторится то багрепорт все равно нужно писать

0

02.03.2021

Denny [Altinity]

Vik Kin
Сделал MV ReplicatedAggregatingMT + Distributed Пр...

это рекурсия бесконечная, Distributed смотрит на саму себя, банально опечатка

0

02.03.2021

Vik Kin Автор вопроса

Denny [Altinity]
это рекурсия бесконечная, Distributed смотрит на с...

да, после переименования так и получилось

0

02.03.2021

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

Ну тут либо шашечки, либо ехать смысл aggregating merge tree в том, что бы агрегировать и уменьшать кол-во строк в разы и ускорять сканирование таблицы. Если вам интересны только почасовые агрегации то делаете в MV toStartOfHour(ts) as ts и храните почасовые.

0

02.03.2021

184 похожих чатов

Добрый день. Подскажите как оптимизировать выборку через aggregatingmergetree? Есть таблица logs(datetime,

7 ответов

Похожие вопросы