184 похожих чатов

Есть таблица src и Summing MV на неё src_country CREATE TABLE

default.src (
date Date,
datetime DateTime,
userId UInt64,
countryId UInt8,
typeId UInt8
) ENGINE = MergeTree(date, (userId, datetime), 8192)

CREATE MATERIALIZED VIEW default.src_country
(
date Date,
datetime DateTime,
userId UInt64,
recordsByCountryMap Nested(
countryId UInt8,
records UInt64
)
)
ENGINE = SummingMergeTree(date, (date, datetime, userId), 8192)
AS
SELECT
date,
toStartOfMinute(datetime) AS datetime,
userId,
[countryId] as recordsByCountryMap.countryId,
[count()] AS recordsByCountryMap.records
FROM default.src
GROUP BY
date,
datetime,
userId,
countryId

В документации движка SummingMergeTree указано, что производится суммирование для столбцов заканчивающихся на 'Map'.
Но если данные вставлены в разных пачках, то их суммирует только optimize либо они сами "когда-то" просуммируются.

Вопрос - есть ли агрегирующая функция, которая сложит соотвествующие значения по ключам? Или до-агрегацию в таком случае производить на стороне клиента в коде?

Пример:
SELECT *
FROM src_country

┌───────date─┬────────────datetime─┬─userId─┬─recordsByCountryMap.countryId─┬─recordsByCountryMap.records─┐
│ 2017-01-01 │ 2017-01-01 00:00:00 │ 1 │ [10] │ [4] │
└────────────┴─────────────────────┴────────┴───────────────────────────────┴─────────────────────────────┘
┌───────date─┬────────────datetime─┬─userId─┬─recordsByCountryMap.countryId─┬─recordsByCountryMap.records─┐
│ 2017-01-01 │ 2017-01-01 00:00:00 │ 1 │ [10] │ [4] │
└────────────┴─────────────────────┴────────┴───────────────────────────────┴─────────────────────────────┘
┌───────date─┬────────────datetime─┬─userId─┬─recordsByCountryMap.countryId─┬─recordsByCountryMap.records─┐
│ 2017-01-01 │ 2017-01-01 00:00:00 │ 1 │ [10,11] │ [4,3] │
└────────────┴─────────────────────┴────────┴───────────────────────────────┴─────────────────────────────┘

SELECT
datetime,
groupArray(recordsByCountryMap.countryId),
groupArray(recordsByCountryMap.records)
FROM src_country
WHERE userId = 1
GROUP BY datetime

┌────────────datetime─┬─groupArray(recordsByCountryMap.countryId)─┬─groupArray(recordsByCountryMap.records)─┐
│ 2017-01-01 00:00:00 │ [[10],[10],[10,11]] │ [[4],[4],[4,3]] │
└─────────────────────┴───────────────────────────────────────────┴─────────────────────────────────────────┘

1 ответов

10 просмотров
Alexandr-Bocharov Автор вопроса

@milovidov_an можете с этим помочь? Нашел в исходниках хитрый *ForEach модификатор, попробовал с sumForEach, делает почти то, что нужно, но вероятно не учитывает по каким ключам происходит суммирование. Смотрел также на groupArrayInsertAt, sequenceMatch но похоже не то.

Похожие вопросы

Обсуждают сегодня

Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
10
А дальше что?.. Записать в файл, потом в Код?.. И потом разбирать как-то?..
Хаскель Моисеевич Гопник
14
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
48
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
@y0zhig @shizzard А можно я опишу цель и может вообще ерланг мне не подходит. На текущий момент как я понимаю у ерланга есть легковесные потоки и задача выполняется в каком т...
Дмитрий Спиридонов
5
Есть предложения, как подобное можно упростить?
Hemul GM
12
У меня вопросик назрел. Почему, создав класс без наследования и реализации деструктора Destroy, деструктор не вызывался при free. Потом указал наследование от tobject и overri...
Сергей Бычков
9
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
86
Такой вопросец - есть функция function MySuperDuperConcat(const a: array of AnsiString): AnsiString; Как мне в её теле сделать вот так? Result:=Concat(a); А не грустный вариан...
notme
15
Карта сайта