Всем привет Не могу найти описание интеграции с azure blob store У

Question

Всем привет Не могу найти описание интеграции с azure blob store У

меня на azure blob store лежат паркеты (результат работы spark'a) , я хочу их читать и инсертить в ch
Для aws и gcp это работает просто:
<yandex>
<s3>
<data_ro>
<endpoint>...</endpoint>
<access_key_id>...</access_key_id>
<secret_access_key>...</secret_access_key>
</data_ro>
</s3>
</yandex>
и потом можно из бакета читать и делать инсерт

Подскажите пожалуйста, как должна выглядеть конфигурация интеграции для azure blob store?

#backend #clickhouse #database #devops #programming #russian

0

21.09.2023

10 ответов

24 просмотра

Артём Павлович Автор вопроса

Dmitry [Altinity] Titov
https://github.com/ClickHouse/ClickHouse/pull/5060...

с форматом запроса разобрался - спасибо а как сделать чтобы креды подтягивались из конфига, как когда из aws s3 делаешь селект?

0

21.09.2023

Dmitry [Altinity] Titov

Артём Павлович
с форматом запроса разобрался - спасибо а как сдел...

посмотрите в сторону named collections

0

21.09.2023

Артём Павлович Автор вопроса

Dmitry [Altinity] Titov
посмотрите в сторону named collections

благодарю

0

21.09.2023

Артём Павлович Автор вопроса

Dmitry [Altinity] Titov
посмотрите в сторону named collections

создал CREATE NAMED COLLECTION test AS connection_string = 'DefaultEndpointsProtocol=https;AccountName=xxx;AccountKey=yyy;EndPointSuffix=core.windows.net' но когда использую получаю ошибку SELECT count() FROM azureBlobStorage(test, 'container_name', 'blobpath', 'format', 'compression', 'structure') DB::Exception: Expected key-value argument or function. (BAD_ARGUMENTS)

0

21.09.2023

Деня

Артём Павлович
создал CREATE NAMED COLLECTION test AS connection_...

попробуйте пропинать вот так FROM azureBlobStorage(NAME test - у меня с какими то коллекшенами это помогло. тоже были ошибки... вообще диковато - в дикшенарях одно, в энжинах таблиц - другое. и то в разных энжинах может быть разный формат... ((

0

21.09.2023

Dmitry [Altinity] Titov

Артём Павлович
создал CREATE NAMED COLLECTION test AS connection_...

Хм, может не добавили поддержку в азур блоб функцию

0

21.09.2023

Артём Павлович Автор вопроса

Деня
попробуйте пропинать вот так FROM azureBlobStorag...

не очень понял как нужно :(

0

21.09.2023