Народ, а подскажите что потрогать для такого кейса? Есть построчный лог

Question

Народ, а подскажите что потрогать для такого кейса? Есть построчный лог

с партиционированием по дате. В логе есть два инта. Первый кому (и он входит в primary index). Второй - кто. И вот надо запрашивать иногда кто в конкретный день что-то сделал. То есть что-то типа индекса на второй инт, но только в пределах партиции. Уникальных значений второго инта около 3к в партиции. Записей в партиции 1.5 ярда. Попробовал skipped index - работает отлично только если нету записей.

Сейчас буду сравнивать проджекшен и материалайзед вью, но вдруг есть какие другие решения?

#backend #clickhouse #database #devops #programming #russian

0

19.07.2023

9 ответов

27 просмотров

Denny [Altinity]

>второго инта около 3к в партиции т.е. "кто" это низкокардинальное поле и одинаковое у кучи записей? ну тогда никак, вы не сможете сделать быстрее чем фулскан

0

19.07.2023

Anton Rusakov Автор вопроса

Denny [Altinity]
>второго инта около 3к в партиции т.е. "кто" это...

Эх... Учитывая что в день туда 5к запросов делается на селект делать на это 2х места так жалко... :)

0

19.07.2023

Denny [Altinity]

Anton Rusakov
Эх... Учитывая что в день туда 5к запросов делаетс...

там не два 2х места, там только часть полей в проекции

0

19.07.2023

Brаl Brаl Bral 🏳️‍🌈👠

Anton Rusakov
Эх... Учитывая что в день туда 5к запросов делаетс...

Может кодеками получится сжать чуть больше - всякие t64 и все в таком духе.

0

19.07.2023

Anton Rusakov Автор вопроса

Denny [Altinity]
там не два 2х места, там только часть полей в прое...

Так судя по вашему ответу мне проекция не особо поможет с низкокардинальным полем

0

19.07.2023

Anton Rusakov Автор вопроса

Brаl Brаl Bral 🏳️‍🌈👠
Может кодеками получится сжать чуть больше - всяки...

С этим конечно будем играть, но уже после того как основную структуру придумаю :)

0

19.07.2023

Denny [Altinity]

Anton Rusakov
Так судя по вашему ответу мне проекция не особо по...

а чем фуллскан не устраивает?

0

19.07.2023

Anton Rusakov Автор вопроса

Denny [Altinity]
а чем фуллскан не устраивает?

Медленно :(.

0

19.07.2023

Brаl Brаl Bral 🏳️‍🌈👠 · Accepted Answer

Да вариантов не много, если у вас вторичные индексы не подошли, и все крутятся вокруг иного order by (pk). Это или мат.представление, или проекции, или 2 таблички, в которые загружают мат.представления из таблицы с движком null ( аналог первого варианта)

184 похожих чатов

Народ, а подскажите что потрогать для такого кейса? Есть построчный лог

9 ответов

Похожие вопросы