Всем привет. Подскажите какие подводные камни от использования словарей с

Question

Всем привет. Подскажите какие подводные камни от использования словарей с

типами *_ARRAY ? Радует более низкий постоянные расход памяти, местами разница колоссальная. Сильно ли влияет на пиковый расход памяти при выполнении запросов? Были замечены ООМ через какое-то время после перевода словарей (прогружены они были заранее) на эти типы, потом также быстро само и прошло, не понял на них грешить или нет :)

#backend #clickhouse #database #devops #programming #russian

0

14.04.2022

10 ответов

5 просмотров

Anton Mikhalev Автор вопроса

Denny [Altinity]
они чуть медленее чем hashed

спасибо, по скорости особо разницы не заметил пока. значит что-то другое ООМ вызвало

0

14.04.2022

Denny [Altinity]

https://github.com/ClickHouse/ClickHouse/issues/30236#issuecomment-945188809 можете почитать весь ишью

0

14.04.2022

Boris

Denny [Altinity]
https://github.com/ClickHouse/ClickHouse/issues/30...

спасибо за ссылку. Есть ещё интересный вопрос - почему так много внимания уделяется словарям, а join engine забыт? Я тут провел подобные тесты и получилось, что join engine работает не сильно медленее hashed, однако занимает в разы меньше памяти. И обновлять значения по ключу можно без мучительной перегрузки. Может там есть какой-то подвох?

0

16.04.2022

Denny [Altinity]

Boris
спасибо за ссылку. Есть ещё интересный вопрос - ...

1. Я не пользуюсь engine join, потому что источники данных у меня внешние -- http. Я не вижу смысла писать ETL который будет перекладывать в engine=Join. 2. Engine = join не гарантирует целостности при перезагрузке. 3. Бекэнд не умеет Engine=Join, а SQL запросы руками не пишем вообще никогда, и переделывать бекэнд лень. 4. Engine join если наделать множество инсертов, создаст кучу каталогов на диске, мержить он не умеет (или не умел) , я уже видел КХ который стартовал 2 часа, атача engine=join. Спасибо. 5. Словари более менее консистенты между шардами без вообще траты каких-либо ресурсов на это.

0

16.04.2022

Dmnk ninja

Denny [Altinity]
1. Я не пользуюсь engine join, потому что источник...

А если Engine=Join для очень маленьких файлов которые не меняеются почти никогда, у меня в таком лежит справочник по странам где всякая инфа(200 строк буквально), не должно быть проблем больших?

0

16.04.2022

Denny [Altinity]

Dmnk ninja
А если Engine=Join для очень маленьких файлов кото...

не должно

0

16.04.2022

Denny [Altinity]

Denny [Altinity]
1. Я не пользуюсь engine join, потому что источник...

а да, разве layout = SparseHashed занимает сильно больше памяти чем engine join?

0

16.04.2022