Кстати, если уж тут идёт беседа про обновления данных. Мы

Question

Кстати, если уж тут идёт беседа про обновления данных. Мы

в конторе планируем посадить на кликхаус систему финансовой аналитики. Там тоже возникают ситуации, когда с бирж приходят корректировки, и надо старые данные "обновить". Ну так вот, во время тестов на относительно небольшом куске данных в 80 миллиардов строк выяснилось, что делать выборку из ReplacingMergeTree правильным способом (с гарантией отсутствия дубликатов) получается как-то слишком медленно.

В качестве обходного пути мы сделали вот что: в таблице, где эти данные лежат, есть колонка с версией. Собственно версии хранятся в отдельной базе данных, в кликхаус периодически подгружаются как словарь и используются в запросах через dictGet. Обновление, в итоге, перестаёт быть обновлением, так как старые данные никогда не меняются.

Работает это гораздо быстрее чем ReplacingMergeTree, но мне интересно, возможно ли это сделать проще?

#backend #clickhouse #database #devops #programming #russian

0

06.07.2021

7 ответов

10 просмотров

Viacheslav Chernyshev Автор вопроса

Vladimir Goncharov
https://clickhouse.tech/docs/ru/engines/table-engi...

Это видел. У кого-нибудь есть уже опыт использования в production? Я что-то начитался ужасных историй про то, как RocksDB начинает память жрать как не в себя, типа вот этого: https://github.com/facebook/rocksdb/issues/4112 и вот не знаю, стоит ли пробовать.

0

06.07.2021

Dmitry [Altinity] Titov

Viacheslav Chernyshev
Это видел. У кого-нибудь есть уже опыт использован...

Основной минус роксдб, что оно нереплицированное, так что словарь выглядит удобнее для небольших объемов данных.

0

06.07.2021

Vladimir Goncharov

Viacheslav Chernyshev
Это видел. У кого-нибудь есть уже опыт использован...

мдя, почитал тикет. жалобы в стиле "мы встроили эту бд и у нас в приложении течёт память. нет мы не криворукие. нет, мы не знаем почему у вас всё ок и ничего не течёт". не удивительно, что тикет имеет статус "не достаточно инфы" и висит там уже несколько лет и куча комментов "у нас тоже течёт" и "а у нас прямые руки, поэтому ничего и не течёт" :) в общем спорный достаточно тикет :)

0

06.07.2021

Viacheslav Chernyshev Автор вопроса

Vladimir Goncharov
мдя, почитал тикет. жалобы в стиле "мы встроили эт...

Да, там сам чёрт ногу сломит, но оказаться в лагере тех, у кого течёт, тоже не хочется. Ну и вообще, если оно не реплицированное, то увы не подойдёт :(

0

06.07.2021

Viacheslav Chernyshev Автор вопроса

Dmitry [Altinity] Titov
Основной минус роксдб, что оно нереплицированное, ...

Если старые версии через пару месяцев можно относительно безболезненно чистить в пределах одной partition, то данных на самом деле немного. Только я вижу, что тут часто жалуются на то, что мутации ломаются.

0

06.07.2021

Dmitry [Altinity] Titov

Viacheslav Chernyshev
Если старые версии через пару месяцев можно относи...

Если их выполнять по очереди, в целом жить можно нормально

0

06.07.2021

Vladimir Goncharov · Accepted Answer

Vladimir Goncharov

https://clickhouse.tech/docs/ru/engines/table-engines/integrations/embedded-rocksdb/

0

06.07.2021

184 похожих чатов

Кстати, если уж тут идёт беседа про обновления данных. Мы

7 ответов

Похожие вопросы