Добрый день. Настраиваем проброс данных из MSSQL в CH. Наладили

Question

Добрый день. Настраиваем проброс данных из MSSQL в CH. Наладили

ODBC драйвер и создали несколько словарей, которые берут данные из запросов в MSSQL.
Таблицы в источнике большие, поэтому словари сделали только для подтягивания GUID-ов, а сбор данных, по задумке, должен был быть в материализованном представлении по джойна табличной функции ODBC и значений словаря, содержащим те же GUID-ы из той же таблицы.

В итоге видим: словари обновляются, а материализованное представление не реагирует на пополнение таблиц на движке Dictionary и потому не обогащается новыми данными из MSSQL.

Что не так? В чем мы просчитались? Может что-то забыли?

#backend #clickhouse #database #devops #programming #russian

0

21.03.2022

12 ответов

18 просмотров

Brаl Brаl Bral 🏳️‍🌈👠

Если не изменяет память, матвью реагирует на инсерт только в самом кликхаусе. А у вас внешний источник, который подключен как Dictionary.

0

21.03.2022

Clir

Если у вас источник, то он не будет реагировать, mv: after insert trigger

0

21.03.2022

Юрий Шахов Автор вопроса

Boris
не очень понятный вопрос. чтобы не гадать - лучше...

CREATE MATERIALIZED VIEW thanatos.OrderHeadersAzure2V2 ENGINE = ReplacingMergeTree PARTITION BY toYYYYMM(OrderTime) ORDER BY (***) SETTINGS index_granularity = 8192 AS SELECT *** FROM thanatos.Orders_SERVICE_DICT AS o --это словарь, который обновляется INNER JOIN odbc('DSN=Thanatos;Uid=***;Pwd=***', 'Documents', 'OrderHeadersAzure2V2') AS oha ON toUUIDOrZero(oha.OrderId) = o.OrderId

0

21.03.2022

Юрий Шахов Автор вопроса

Brаl Brаl Bral 🏳️‍🌈👠
Если не изменяет память, матвью реагирует на инсер...

но ведь словарь обновляется и это видно в таблице sysnem.dictionary. Или тут по-другому работает?

0

21.03.2022

Юрий Шахов Автор вопроса

Clir
Если у вас источник, то он не будет реагировать, m...

прошу прощения, не понимаю. Можно чуть подробней?

0

21.03.2022

Boris

Юрий Шахов
CREATE MATERIALIZED VIEW thanatos.OrderHeadersAzur...

вам правильно сказали - первая таблица в MV/select - должна быть нормальной таблицей, куда идут обычные инсерты. MV работает над строками в одном инсерте, а вовсе не данными из таблицы. Смотрите выше по чату мильен вопросов и ответов что такое MV и как оно работает

0

21.03.2022

Brаl Brаl Bral 🏳️‍🌈👠

Юрий Шахов
но ведь словарь обновляется и это видно в таблице ...

Насколько я знаю, представление словаря в виде таблице Dictionary это что-то вроде синтаксического сахара. Обычно со словарем работают через dictget. У вас данные обновляются во внешнем источнике, вставки в самом кликхаусе не было, именно поэтому триггер не срабатывает.

0

21.03.2022

Юрий Шахов Автор вопроса

Brаl Brаl Bral 🏳️‍🌈👠
Насколько я знаю, представление словаря в виде таб...

правильно ли я понимаю, что мне никак не получится автоматизировать этот процесс (добавление данных из MSSQL) внутри кликхауса, не прибегая к внешним скриптам?

0

21.03.2022

Brаl Brаl Bral 🏳️‍🌈👠

Юрий Шахов
правильно ли я понимаю, что мне никак не получится...

Точно не знаю состояние дел в новых версия, но в 21.8 - нельзя.

0

21.03.2022

In Fis

Юрий Шахов
правильно ли я понимаю, что мне никак не получится...

Только, если Вы будете данные из MSSQL сами добавлять в CH. А через словари CH может только читать данные, кешируя их на своей стороне для более быстрого доступа к ним через словарные функции.

0

21.03.2022

Юрий Шахов Автор вопроса

In Fis
Только, если Вы будете данные из MSSQL сами добавл...

@bralbral @bvt123 @vvvjhaq Спасибо.

0

21.03.2022

Boris · Accepted Answer

Boris

не очень понятный вопрос. чтобы не гадать - лучше покажите как вы создаете MV

0

21.03.2022

184 похожих чатов

Добрый день. Настраиваем проброс данных из MSSQL в CH. Наладили

12 ответов

Похожие вопросы