`App_id`

String,
`app_name` LowCardinality(String),
`bundle_id` String,
`is_retargeting` LowCardinality(String),
`retargeting_conversion_type` LowCardinality(String),
`is_primary_attribution` Enum8('null' = -1, 'false' = 0, 'true' = 1),
`af_attribution_lookback` String,
`af_reengagement_window` String,
`match_type` LowCardinality(String),
`user_agent` String,
`http_referrer` String,
`original_url` String,
`gp_referrer` String,
`gp_click_time` DateTime,
`gp_install_begin` DateTime,
`gp_broadcast_referrer` LowCardinality(String),
`custom_data` LowCardinality(String),
`network_account_id` String,
`keyword_match_type` LowCardinality(String),
`blocked_reason` LowCardinality(String),
`blocked_reason_value` LowCardinality(String),
`blocked_reason_rule` String,
`blocked_sub_reason` String,
`af_web_id` String,
`web_event_type` String,
`device_download_time` DateTime,
`deeplink_url` String,
`oaid` String,
`ad_unit` String,
`segment` String,
`placement` String,
`mediation_network` String,
`impressions` String,
`monetization_network` String
)
ENGINE = MergeTree
PARTITION BY toYYYYMMDD(event_date)
ORDER BY (event_time, event_name)
SETTINGS index_granularity = 8192;


в него пишем запросы по типу:

select appsflyer_id,
groupArray(event_date) as event_date,
groupArrayIf(event_time, event_name = 'event1') event_1,
groupArrayIf(event_time, event_name in ('event2', 'event3')) as event_2,
groupArrayIf(event_time, event_name in ('event4', 'event5')) as event_3,
groupArrayIf(event_time, event_name in ('event6',
'event7')) as event_4,
groupArrayIf(event_time, event_name in
('event8', 'event9', 'event10', 'event11',
'event12')) as event_5
from table
group by appsflyer_id;


начали не пролезать по памяти, поэтому хотим оптимизироваться. подскажите, что можно улучшить в ddl и настройках КХ, чтобы это лучше работало? настройки КХ дефолтные

событий в event_name штук 70, appsflyer_id высококардинальное поле. дальше есть еще часть подзапроса, где разжимаем массивы или используем arrayFilter или прочие штуки для работы над массивами

Простой способ - разнести всё в кластер и пошардировать,допустим, по media_source

ок, спасибо за идею. есть еще сложные способы?

для чего у вас ORDER BY (event_time, event_name) ? Вы точно этого хотели или "само получилось"? Выглядит подозрительно. Может все-таки поставить ваш apps_id на первое место, а event_time на последнее. Принцип простой - меньшая кардинальность - вперед.

хотели считать воронки по event_time, чтобы на id можно было сразу при помощи groupArray получить отсортированное время, а не сортировать на ходу. app_id никогда не используем в секции where. про принцип спасибо, не усмотрел

есть простые. Но будет медленнее: set max_bytes_before_external_group_by='40G' set max_memory_usage='50G' max_threads=1

хм, спасибо!