структурой:
CREATE DICTIONARY dict (
`id` UInt64,
`from` DATE,
`to` DATE,
`count` UInt32
) PRIMARY KEY ws_id SOURCE(CLICKHOUSE())
LIFETIME(0)
LAYOUT(RANGE_HASHED())
RANGE(MIN from MAX to)
Фактически, в словаре 3 423 993 записей и он занимает 536871056 байт, а это 512 МБ памяти.
На мой взгляд, должно быть в 10 раз меньше тк каждая строчка это Uint64 + date + date + uint32 = 8 + 2 + 2 + 4 = 16 байт на 1 строчку.
3423993 (строчек) * 16 (размер строчки) = 54783888 байт = 52,25 МБ
Вопрос в том, почему он сожрал 512МБ, что почти в 10 раз больше расчетного?
https://github.com/ClickHouse/ClickHouse/issues/2738
в словаре каждый атрибут в своей хештаблице и сами хештаблицы имеют суровый оверхед. есть SPARSE_HASHED https://kb.altinity.com/altinity-kb-dictionaries/altinity-kb-sparse_hashed-vs-hashed/
Спасибо, пойду изучать! )
Обсуждают сегодня