184 похожих чатов

Приветствую. Хелпните плиз. Пишется лог MergeTree - t UInt64, sid UInt32

DEFAULT CAST(0, 'UInt32'),
tid UInt32 DEFAULT CAST(0, 'UInt32'),
event LowCardinality(String),
geo LowCardinality(FixedString(2)),
os LowCardinality(FixedString(2)),
....

Как можно посчитать и слопнуть в MV массив event , geo , os

Что то типа такого было...

CREATE TABLE default.a_1_merge_sum_minuts
(
t DateTime,
sid UInt32 DEFAULT CAST(0, 'UInt32'),
tid UInt32 DEFAULT CAST(0, 'UInt32')
..... ??
}
default.sum_minuts
ENGINE = SummingMergeTree
ORDER BY (t, sid, tid)

CREATE MATERIALIZED VIEW default.mv_minuts TO default.sum_minuts
(
t UInt64,
sid UInt32,
tid UInt32,
desktop_imp UInt64,
mobile_imp UInt64,
desktop_complete UInt64,
mobile_complete UInt64,
) AS
SELECT
toUInt64(toStartOfMinute(toDateTime(t))) AS t,
sid,
tid,
countIf( event = 'impression' AND dt = 'Desktop' ) AS desktop_imp,
countIf( event = 'impression' AND dt != 'Desktop' ) AS mobile_imp,
countIf( event = 'complete' AND dt = 'Desktop' ) AS desktop_complete,
countIf( event = 'complete AND dt != 'Desktop' ) AS mobile_complete,
........
FROM default.log_site
GROUP BY t, sid, tid


geo и event строки .. хотелось бы их обсчитывать и обновлять в одну запись минутную
а не вставлять event X geo X os строк

Как это можно реализовать для MV ?
Чтобы в минутной записи хранилась какая то инфа например вида

'desktop_imp' : { geo: { 'RU' : {'OS': { 'Win': 10, 'US':15 } , { 'US' : {'OS': { 'Win': 4, 'US':3 } .. }
'mobile_imp' : { geo: { 'RU' : {'OS': { 'Win': 1, 'US':2 } , { 'US' : {'OS': { 'Win':2, 'US':1 } .. }

И насколько оправдана такая заморочка для потом быстрой выборки и подсчета значений ?

1 ответов

12 просмотров

если я правильно понял, что вы хотите, то вам нужны ф-ии типа groupArray. не знаю будет ли они работать с движком aggregatingMT (вроде должны, но надо проверить). но если будет, то кмк это единственная возможность использовать MV для схлопывания логов. иначе делать тоже самое но без MV, например, через крон. по поводу второго вопроса, то если вы точно знаете, какие выборки и подсчеты будут - сразу мв по ним и делайте.

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
Кибер Бомж
8
Карта сайта