А в clickhouse всё также или есть серьёзные изменения? https://habr.com/ru/company/tinkoff/blog/310620/

Question

ClickHouse не тормозит

Alimar Ramazanov

А в clickhouse всё также или есть серьёзные изменения? https://habr.com/ru/company/tinkoff/blog/310620/

#backend #clickhouse #database #devops #programming #russian

0

08.12.2021

6 ответов

20 просмотров

Alimar Ramazanov Автор вопроса

Marko Herkaliuk
5 лет прошло, как думаете?

В статье были выявлены нюансы. Интересно узнать какие изменения произошли с этими нюансами. Выдержка из статьи: В процессе тестирования выяснилось, что эта БД для наших задач не подходит — джойны в ней представлены только номинально. Так, например: поддерживается только JOIN с подзапросом в качестве правой части; условия в join-е не пробрасываются внутрь подзапроса; распределённые join-ы выполняются неэффективно. Оказалось практически невозможным переписать «тяжёлые» запросы (N1-N3) на синтаксис Clickhouse. Также печалит ограничение по памяти — результат любого из подзапросов в любом запросе должен вмещаться в память на одном (!) сервере из кластера. Несмотря на то, что для BI-задач эта БД оказалась непригодна, по результатам тестирования она нашла применение в хранилище в другом проекте. Отдельно хочется отметить очень подробную и удобную документацию, доступную на официальном сайте (к сожалению, пока она покрывает не все аспекты использования БД), а также поблагодарить разработчиков Yandex за оперативные ответы на наши вопросы при проведении тестирования.

0

08.12.2021

Denny [Altinity]

Alimar Ramazanov
В статье были выявлены нюансы. Интересно узнать ка...

про джойны стало чуть лучше, но вывод статьи был бы точно таким же. оптимизатора нет, merge join нет, предикаты не проталкиваются в join, distributed join-ы очень наивная реализация, короче join-ы пока это брошенный ребенок. до магии exasol еще очень далеко. Вообще загадка как это сделано в exasol.

0

08.12.2021

Alimar Ramazanov Автор вопроса

Denny [Altinity]
про джойны стало чуть лучше, но вывод статьи был б...

Возможно из-за этого. Выдержка из статьи https://habr.com/ru/company/tinkoff/blog/310620/ EXASOL позволяет посмотреть план только выполненных запросов. Это связано с тем, что план создается на ходу во время выполнения за счет анализа промежуточных результатов. Отсутствие классического explain работе не мешает, но с ним привычнее.

0

08.12.2021

Denny [Altinity]

Alimar Ramazanov
Возможно из-за этого. Выдержка из статьи https://h...

нет. То что оптимизация шагов плана делается на ходу, это понятно. Там другое, непонятно какой алгоритм используется, якобы они изобрели магические индексы, которые они строят на лету при джойне и затем хранят и меняют при обновлении таблицы, эти вспомогательные индексы позволяют очень быстро джойнить. И вот тут конкретно непонятно как именно сделано, потому что надо очень много хранить дополнительно данных/колонок если сделать в лоб.

0

08.12.2021

Marko Herkaliuk

Alimar Ramazanov
В статье были выявлены нюансы. Интересно узнать ка...

Про переписать запросы на синтаксис клика - я думаю стало лучше, завезли оконки, все такое. Но все же схема хранения данных предоставленная в статье не оч для клика

0

08.12.2021

Marko Herkaliuk · Accepted Answer

Marko Herkaliuk

5 лет прошло, как думаете?

0

08.12.2021

184 похожих чатов

А в clickhouse всё также или есть серьёзные изменения? https://habr.com/ru/company/tinkoff/blog/310620/

6 ответов

Похожие вопросы