Здравствуйте. Вопрос про следующий сценарий: хотим в CH хранить около

Question

Здравствуйте. Вопрос про следующий сценарий: хотим в CH хранить около

5.000.000 строк и 1500 колонок. Со временем количество строк может расти, но сравнительно медленно. Сценарий вставки такой: сначала приходят 100-200 колонок для одной строки, потом еще 300-500, потом еще пачка колонок. Так через несколько итераций собирается строка на 1500 колонок. Колонки могут быть в т.ч. Nested. На запись будет не больше 5RPS. При нормальном использовании даже меньше 1RPS. Во всех доках, которые я нашел сказано, что INSERT для CH - норм, а UPDATE, DELETE - ну такое. В этом сценарии мне стоит опасаться, что при вставках через UPDATE я нарвусь на сильные деградации производительности или можно первую вставку делать INSERT’ом, а остальные UPDATE’ом? Пока склоняюсь к тому, что лучше бетчить: дожидаться получения строки целиком или лучше даже дожидаться нескольких строк, хранить промежуточные результаты во временном хранилищец и потом вставлять в CH INSERT’ом пачкой. Есть ли еще какие-нибудь варианты?

#backend #clickhouse #database #devops #programming #russian

0

17.09.2021

3 ответов

21 просмотр

Max Arshinov Автор вопроса

Николай
Добрый день, посмотрите в сторону движка Collapsin...

и просто UPDATE’ами писать в таблицу в этом случае?

0

17.09.2021

Николай

Max Arshinov
и просто UPDATE’ами писать в таблицу в этом случае...

Там специальный insert, со старыми данными и новыми, вы как бы шлете старые с флагом -1, и оно их схлопывает само, а новые с 1, они остаются, почитайте, в доках очень подробно об этом. Потом есть специальный подход к выборке через select, чтобы не брать старые данные

0

17.09.2021

Николай · Accepted Answer

Николай

Добрый день, посмотрите в сторону движка CollapsingMergeTree или VersionedCollapsingMergeTree, мб это то, что вам подойдёт

0

17.09.2021

184 похожих чатов

Здравствуйте. Вопрос про следующий сценарий: хотим в CH хранить около

3 ответов

Похожие вопросы