При интенсивной вставке вываливаются запросы <Error> executeQuery: std::exception. Code: 1001, type:

Question

При интенсивной вставке вываливаются запросы <Error> executeQuery: std::exception. Code: 1001, type:

std::__1::__fs::filesystem::filesystem_error, e.wh
at() = filesystem error: in create_directory: No such file or directory ["/srv/slow-6/store/c98/c98021f1-cc27-48bd-94ae-4693697ccdc8/shard1_replica2"]
Собственно, это всё что есть в логе в момент их выпадения.
Куда смотреть?

#backend #clickhouse #database #devops #programming #russian

0

12.07.2022

10 ответов

45 просмотров

Alex Tkachuk Автор вопроса

Slach [altinity]
как смонтирован /srv/slow-6 ? какое окружение? как...

Oracle Linux 8 clickhouse-server-22.6.2.12 2 сервера (реплики, ReplicatedMergeTree), данные проходят через distributed таблицу, 3 штуки киперов Как смонтирован - вопрос не до конца понятный, но попробую ответить, вдруг отгадаю /dev/nvme0n1p6 /srv/fast-1 ext4 defaults /dev/sdf /srv/slow-6 ext4 defaults Это всё потом в <volumes> <hot_volume> <disk>fast_1</disk> <disk>fast_2</disk> </hot_volume> <cold_volume> <disk>slow_1</disk> <disk>slow_х</disk> <disk>slow_6</disk> </cold_volume> </volumes> <move_factor>0.2</move_factor>

0

12.07.2022

Slach [altinity]

Alex Tkachuk
Oracle Linux 8 clickhouse-server-22.6.2.12 2 серве...

без всяких там виртуалок и т.п.?

0

12.07.2022

Slach [altinity]

это точно не все, там как минимум еще stacktrace есть ... и возможно query_id в логе...

0

12.07.2022

Alex Tkachuk Автор вопроса

Slach [altinity]
это точно не все, там как минимум еще stacktrace е...

https://pastila.nl/?01e974c7/46da6bf07cb07c4eb4457a4b6a175bdd

0

12.07.2022

Slach [altinity]

Alex Tkachuk
https://pastila.nl/?01e974c7/46da6bf07cb07c4eb4457...

SELECT * FROM system.query_log WHERE query_id='2c056c2d-531e-4414-83dd-8478df111340' FORMAT Vertical судя по стектрейсу DB::DistributedSink::writeAsyncImpl вставляете вы в Distributed таблицу... SHOW CREATE TABLE actions_index_test ls -la /srv/slow-6/ какой owner и group ?

0

12.07.2022

Denny [Altinity]

типа у Distributed таблицы указан storage ? или вы нахимичили с default storage policy ? но похоже на баг

0

12.07.2022

Alex Tkachuk Автор вопроса

Denny [Altinity]
типа у Distributed таблицы указан storage ? или в...

Replcated, поверх него replicatedmergetree, поверх него distributed. И да, в дефолт сторедж полиси именно те волюмы что я выше писал

0

12.07.2022

Denny [Altinity]