Когда нужно использовать внешние словари, а когда движки? (в случае

Question

Когда нужно использовать внешние словари, а когда движки? (в случае

выбора одного против другого)

Например, PostgresqlEngine(https://clickhouse.com/docs/en/engines/database-engines/postgresql/) vs Postgresql в external dictionary (https://clickhouse.com/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/#dicts-external_dicts_dict_sources-postgresql)

#backend #clickhouse #database #devops #programming #russian

0

01.10.2021

7 ответов

27 просмотров

Роман Болдырев

Но там же написано. PostgresqlEngine по сути postgres_fdw, то есть представление, не хранит данные, выполняется на лету. Postgresql в external dictionary - хранение данных в памяти или на диске (если конечно не указано direct)

0

01.10.2021

Kuzma Leshakov Автор вопроса

Роман Болдырев
Но там же написано. PostgresqlEngine по сути postg...

в чем тогда разница между MaterializedPostgreSQL и Postgresql в external dictionary ?

0

01.10.2021

Роман Болдырев

Kuzma Leshakov
в чем тогда разница между MaterializedPostgreSQL и...

Почитайте доку. В целом то что это абсолютно разные способы получения данных из PostgreSQL.

0

01.10.2021

Boris

Kuzma Leshakov
в чем тогда разница между MaterializedPostgreSQL и...

в первом случае вы читаете локальную таблицу (КХ как узел PG кластера), во втором идет обращение по сети к удаленному PG. Но вы там поосторожнее с источниками словарей - не все способы хранения поддерживают все источники. Вот к примеру для cached - Supported sources: MySQL, ClickHouse, executable, HTTP.

0

01.10.2021

Ivan Kalinin

Boris
в первом случае вы читаете локальную таблицу (КХ к...

Это лучше на практике проверить, могли просто забыть добавить

0

01.10.2021

Kuzma Leshakov Автор вопроса

Boris
в первом случае вы читаете локальную таблицу (КХ к...

Спасибо за ответы

0

01.10.2021

Boris · Accepted Answer

обычно вся эта оптимизация делается для джойнов. Надо соединить много источников данных в отдном отчете. Ответ зависит от того насколько велики данные и сколько вы готовы ждать. Если запросы раз в день и ожидание в несколько минут-часов вас устраивает, то можно джойнить напрямую с таблицами в постгресе. Но если запросы идут огромным потоком, и отвечать надо быстро, то лучше сделать словарь, который живет в памяти сервера. Но памяти тогда нужно достаточное количество.

184 похожих чатов

Когда нужно использовать внешние словари, а когда движки? (в случае

7 ответов

Похожие вопросы