Есть json типа: user_id: 1 country: "RU" Как лучше его хранить в

Question

ClickHouse не тормозит

Агент

Есть json типа: user_id: 1 country: "RU" Как лучше его хранить в

CH?
1. Распарсить его на две колонки user_id и country, и повещать индексы на них
2. Хранить как строку

#backend #clickhouse #database #devops #programming #russian

0

22.09.2021

8 ответов

13 просмотров

Агент Автор вопроса

Boris
если ключей действительно два как в примере, то ра...

Индексов в json? Просто потом нужно будет группировать по user_id

0

22.09.2021

Boris

индексов в КХ. Тут нет индексов, тут есть сортировка данных при хранении. Группировка сама по себе не требует индекса если вы хотите прочитать всю таблицу. Но вы не ответили на вопрос - насколько велик и непредсказуем ваш json.

0

22.09.2021

Агент Автор вопроса

Boris
индексов в КХ. Тут нет индексов, тут есть сортиро...

Тот что скинул это максимум. Есть ещё большой json у которого меняются поля - он будет как строка записан

0

22.09.2021

Агент Автор вопроса

Boris
индексов в КХ. Тут нет индексов, тут есть сортиро...

Ну все равно если данные будет отсортированны по user_id их легче брать будет. Так же?

0

22.09.2021

Dmitry [Altinity] Titov

https://kb.altinity.com/altinity-kb-schema-design/best-schema-for-storing-many-metrics-registered-from-the-single-source/

0

22.09.2021

Агент Автор вопроса

Dmitry [Altinity] Titov
https://kb.altinity.com/altinity-kb-schema-design/...

Спасибо

0

22.09.2021

Boris

тогда делайте парсинг перед инсертом и кладите в две колонки. И разбирайтесь с order by. Дело же не в том чтобы "легче брать", а в том чтобы "меньше читать".

0

22.09.2021

Boris · Accepted Answer

если ключей действительно два как в примере, то распарсить, положить в колонки и не искать себе приключений. Но если ключей сотня, со сложной иерархией/структурой, и вы сами не знаете зачем они вам нужны, то можно положить в строку и парсить по требованию. Или материализовать в столбец, когда захочется быстрого доступа и агрегаций по какому-то из полей. Можно посмотреть например тут - https://altinity.com/webinarspage/2019/12/17/a-practical-introduction-to-handling-log-data-in-clickhouse (и надо добавить, что индексов тут скорее нет, чем есть)

184 похожих чатов

Есть json типа: user_id: 1 country: "RU" Как лучше его хранить в

8 ответов

Похожие вопросы