Всем привет, такая проблема. Есть статичные (как правло строки и

Question

Всем привет, такая проблема. Есть статичные (как правло строки и

айдишники) данные о событии, а есть динамичные (только числовые).

Хочется поместить все данные в одну таблицу, динамичные данные просто обновлять с помощью добавления новых строк + используя движок summingmergetree.

Но событий очень много, следовательно и обновлять динамичные данные придется часто.
А чтобы динамику вставить в таблицу, надо добавлять её вместе со статикой, чтобы статика при слиянии summingmergetree не потерялась. Следовательно встала проблема как эту статику вытаскивать быстрее всего. Если вытаскивать из кликхауса, то это будет очень медленно (т.к. point queries).

Что можете посоветовать в данном кейсе?

#backend #clickhouse #database #devops #programming #russian

0

15.11.2021

14 ответов

5 просмотров

Tony Автор вопроса

У меня пока только мысли появились в сторону создать materialized view, где будет index_granularity занижен и делать point queries (но это антипаттерн и хз сколько запросов эта система выдержит)

0

15.11.2021

Denny [Altinity]

Tony
У меня пока только мысли появились в сторону созда...

Мало выдержит. Тыщу в секунду может, может 5 тыщ. Там проблема из-за блоков компрессии и вообще кх не приспособлен для такого

0

15.11.2021

Bulat Ziganshin

Denny [Altinity]
Мало выдержит. Тыщу в секунду может, может 5 тыщ. ...

а блоки нельзя уменьшить?

0

15.11.2021

Denny [Altinity]

Bulat Ziganshin
а блоки нельзя уменьшить?

https://kb.altinity.com/engines/altinity-kb-embeddedrocksdb-and-dictionary/

0

15.11.2021

Clir

Denny [Altinity]
Мало выдержит. Тыщу в секунду может, может 5 тыщ. ...

тыщу в секунду selectов на summingMT?

0

15.11.2021

Tony Автор вопроса

Denny [Altinity]
Что значит статические? Сколько их? Это дименшины?...

пример строки: статика: datetime, campaign_id, key (уникальный), lang, country и еще порядка 10 строк различных (некоторые из них в словари не запишешь) динамика: cost, event, payout и еще подобных штук 10 так вот чтобы мне например изменить payout, то я добавляю всю строку целиком, а для payout добавляю разницу с предыдущим значением

0

15.11.2021

Denny [Altinity]

Clir
тыщу в секунду selectов на summingMT?

Причем тут самминг. Вообще не про эту таблицу речь была?

0

15.11.2021

Denny [Altinity]

Tony
пример строки: статика: datetime, campaign_id, key...

В ETL до втставки в кх надо такое делать

0

15.11.2021

Clir

Denny [Altinity]
Причем тут самминг. Вообще не про эту таблицу речь...

ну там человек написал, что вроде хочет самминг использовать и как я понял писать в нее через МВ. мой вопрос про "тыщу" Тыщу селектов выдержит или чего?

0

15.11.2021

Denny [Altinity]

Clir
ну там человек написал, что вроде хочет самминг ис...

Вот тут тесты с direct словарем https://kb.altinity.com/engines/altinity-kb-embeddedrocksdb-and-dictionary/ все числа видны. Там был nvme

0

15.11.2021

Tony Автор вопроса

Denny [Altinity]
В ETL до втставки в кх надо такое делать

а можете пояснить как это? Как я понял, это где-то в другой key-value БД иметь мою строку, оттуда ее быстро достать и уже потом вставить в КХ

0

15.11.2021