Приветствую. Подскажите, есть ли какой-то способ использовать для хранения данных clickhouse'а

Question

Приветствую. Подскажите, есть ли какой-то способ использовать для хранения данных clickhouse'а

примонтированный диск из Azure File Shares?

Подробнее:
1) clickhouse живет на отдельной VM, OC - ubuntu 20.x

2) Монтирую к VM диск:
sudo mount -t cifs //maAcc.file.core.windows.net/clickhousedb /var/opt/clickhouse -o vers=3.0,user=myUser,password=XXXXXw==,dir_mode=0777,file_mode=0777,actimeo=30,uid=997,gid=998

3) меняю пути в конфиге кликхауса (для data, tmp, user_files)
4) перезапускаю сервис

После перезапуска:
- в примонтированной Azure File share создаются директории, появляются файлы по пути /clickhouse/share/*

- в логах начинаются ошибки формата:
2022.09.27 19:45:24.659636 [ 4561 ] {} <Error> void DB::SystemLog<DB::MetricLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::MetricLogElement]: std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in rename: Permission denied ["/var/opt/clickhouse/cl1/lib/clickhouse/store/4cf/4cf261e0-40f7-46f6-8cf6-14417faeb881/tmp_insert_202209_40_40_0/"] ["/var/opt/clickhouse/cl1/lib/clickhouse/store/4cf/4cf261e0-40f7-46f6-8cf6-14417faeb881/202209_40_40_0/"], Stack trace ...

——-
поиском по чату нашел похожие проблемы - но там везде люди на винде в WSL подключали диски. Может с "mount -t cifs" все-таки как-то можно ...

#backend #clickhouse #database #devops #programming #russian

0

27.09.2022

7 ответов

12 просмотров

Rainbow Dash

за винду могу сказать что это баг WSL2 который не может перенести все атрибуты файлов, позанимался этой проблемой нормально так.

0

27.09.2022

Slach [altinity]

Rainbow Dash
за винду могу сказать что это баг WSL2 который не ...

там просто p9 файлуха не умеет в renameat2 syscall

0

27.09.2022

Artem Sidoruk Автор вопроса

Slach [altinity]
а нормальные диски в azure VM почему не хотите исп...

Да, 997 это как раз clickhouse

0

27.09.2022

Rainbow Dash

Slach [altinity]
там просто p9 файлуха не умеет в renameat2 syscall

понятия не имею но то что проблемы с rename это точно

0

27.09.2022

Slach [altinity]

Artem Sidoruk
Да, 997 это как раз clickhouse

вы на главный вопрос не ответили... почему нельзя ext4 нормальные диски которые Azure предоставляет использовать?

0

27.09.2022

Artem Sidoruk Автор вопроса

Slach [altinity]
вы на главный вопрос не ответили... почему нельзя ...

Шара дешевле обходилась при большом обьеме согласно нашей подписки. Но можно и диск конечно, раз с шарой никак.

0

27.09.2022

Slach [altinity] · Accepted Answer

Slach [altinity]

а нормальные диски в azure VM почему не хотите использовать? uid=101,gid=101 по идее... или у вас группа clickhouse 998 и пользователь clickhouse 997 ?

0

27.09.2022

184 похожих чатов

Приветствую. Подскажите, есть ли какой-то способ использовать для хранения данных clickhouse'а

7 ответов

Похожие вопросы