Привет. Есть ли у кого положительный опыт переезда данных из

Question

Привет. Есть ли у кого положительный опыт переезда данных из

mongo в clickhouse?
Столкнулся с проблемой. Есть огромнейшая база с записями такого вида:

id(objectID), event_name(string), params(Object)

Проблема в этом адском params, в котором может храниться любая структура данных. Как быть в таком случае?
Сначала пробовал хранить этот params как json, и затем использовать встроенные функции visitParamExtract. Но проблема в том, что на больших данных, это работает медленно, т.е. по сути происходит фуллскан всех этих json данных как я понял, и запрос отрабатывает неприлично долго.

Затем я извратился, и собрал все уникальные параметры, и сделал ALTER, добавив каждый параметр, как отдельный столбец. Запрос стал отрабатывать очень быстро. Но теперь вопрос, как быть, когда в этом params появится в какой-то момент новый уникальный параметр? ALTER с добавлением столбца не тяжелая операция, если верить мануалам и собственным тестам. Но правильный ли это путь, господа?

#backend #clickhouse #database #devops #programming #russian

0

30.08.2019

2 ответов

16 просмотров

Yuran

Можно использовать гибридный подход — всегда иметь оригинальный params и добавлять только те (вычислимые) колонки, по которым нужно уметь быстро отдавать ответ, или по которым часто идет поиск. Скорее всего количество таких колонок уже не будет порядка тысячи (лучше все-таки больше пары сотен колонок в ClickHouse не иметь, поскольку каждая вставка создает по паре файлов на каждую колонку), и вы получаете все преимущества по скорости в ClickHouse, не теряя возможности фильтровать по любой колонке, если возникает необходимость.

0

30.08.2019

Puma Вольфович · Accepted Answer

Puma Вольфович

Если их не слишком много будет в итоге то норм

0

30.08.2019

184 похожих чатов

Привет. Есть ли у кого положительный опыт переезда данных из

2 ответов

Похожие вопросы