Здравствуйте, коллеги, в проекте возникла нужда в аналитической бд и

Question

Здравствуйте, коллеги, в проекте возникла нужда в аналитической бд и

сделали выбор в сторону КХ, и на меня упала обязанность в данный момент все это дело оптимизировать под наши нужды.
И читая документацию столкнулся с небольшим недопониманием, а именно какой движок использовать.
Задача хранение данных которые могут изменяться, прим. (Платежи пользователей которые иногда могут отменяться, и сбор статистики по установкам из разных источников, работает по крону и сохраняет сводную инфу затирая предыдущие значения.)
Выбор пал на 2 возможных движка это ReplacingMergeTree и CollapsingMergeTree оба позволяют удалять дублирующиеся данные, обновляя её при этом. но не совсем понятен момент выборки.
Поясню почитал доку и пару статей, и инфа разнится. в одной говорят о том что при работе с таблицами надо использовать FINAL в запросе. в другой говорят не трогать его если большой объем данных ибо он будет медленный, но при этом для выборки актуальных данных предлагают в запросе указывать либо тонну логики(при реплэйсинг) либо по полю sign в случае с коллапсом... но касательно коллапса нужно где-то хранить данные предыдущие...
и вот по итогу от изобилия информации я запутался. и прошу помощи у Вас :)
1. какой движок лучше использовать в моем случае ? ( ReplacingMergeTree \ CollapsingMergeTree)
2. как по итогу правильно делать запросы? используя FINAL в конце или применять шаолиньскую магию в запросах стараясь избегать старых данных?

Заранее спасибо за ответы!

#backend #clickhouse #database #devops #programming #russian

0

02.08.2021

9 ответов

22 просмотра

【D】【J】

Replacing удалять не умеет

0

02.08.2021

Александр Автор вопроса

【D】【J】
Replacing удалять не умеет

я написал удалять дублирование...) имелось ввиду производить замену)

0

02.08.2021

【D】【J】

Александр
я написал удалять дублирование...) имелось ввиду п...

Тогда лучше replacing

0

02.08.2021

Boris

Александр
я написал удалять дублирование...) имелось ввиду п...

Учтите, что Replacing и прочие без final не гарантируют вам удаление дубликатов. С диска дубликаты удалятся когда-нибудь. Может быть.

0

02.08.2021

Александр Автор вопроса

Boris
Учтите, что Replacing и прочие без final не гарант...

Да это я понимаю, что когда-нибудь удалятся, и это норма лиж бы в запросе не было дублированных, это важно)

0

02.08.2021

Boris

Александр
Да это я понимаю, что когда-нибудь удалятся, и это...

без дедубликации в запросе дубликаты обязательно будут. когда-нибудь - это для экономии диска.

0

02.08.2021

Александр Автор вопроса

Boris
без дедубликации в запросе дубликаты обязательно б...

0

02.08.2021

Александр Автор вопроса

Boris
без дедубликации в запросе дубликаты обязательно б...

Ну можно же сделать запрос таким образом чтобы для группы данных ответ вернулся без дедубликации? например вот тестовую таблицу пытаю. 1 вариант с дубликацией нескольких полей, 2 вариант выдает файнал, пытаюсь придумать запрос который бы выдал тот же результат что и final .

0

02.08.2021

Max Kremenev · Accepted Answer

Max Kremenev

Мы у себя используем ReplacingMergeTree и argMax для выборки данных.

0

02.08.2021

184 похожих чатов

Здравствуйте, коллеги, в проекте возникла нужда в аналитической бд и

9 ответов

Похожие вопросы