Привет всем! У нас идет большой поток данных, похоже сервер не

Question

Привет всем! У нас идет большой поток данных, похоже сервер не

справляется. Можно как то попытаться победить?
2021.05.13 14:44:29.997751 [ 23797 ] {5d9253e7-80f1-4ccf-8a78-0e55d53060bd} <Error> DynamicQueryHandler: Code: 252, e.displayText() = DB::Exception: Too many parts (300). Parts cleaning are processing significantly slower than inserts, Stack trace (when copying this message, always include the lines below):

#backend #clickhouse #database #devops #programming #russian

0

13.05.2021

5 ответов

18 просмотров

Valeriy Filatov Автор вопроса

Clir
Вы точно объединяете вставки? Мерджи идут?

Как это проверить?

0

13.05.2021

Clir

Valeriy Filatov
Как это проверить?

ну ваши вставки объеденены или вы вставляете построчно? select * from system.merges

0

13.05.2021

Clir

Valeriy Filatov
Как это проверить?

select count(),partition from system.parts group by partition; - -так посмотрите количество кусков в партиции наверно не успевает мерджить, поэтому много кусков стоит все-таки смотреть на метод вставки, вставляйте пачками, иначе на каждую вставку формируется кусок(

0

13.05.2021

Valeriy Filatov Автор вопроса

Clir
select count(),partition from system.parts group b...

SELECT count(), partition FROM system.parts GROUP BY partition Query id: a83821c1-d5a0-4424-9f60-4f0254b5b7de ┌─count()─┬─partition─┐ │ 14 │ 202101 │ │ 4 │ 202103 │ │ 5 │ 202011 │ │ 21850 │ 202105 │ │ 5 │ 202012 │ │ 11 │ 202104 │ └─────────┴───────────┘ 6 rows in set. Elapsed: 0.034 sec. Processed 21.89 thousand rows, 328.33 KB (638.83 thousand rows/s., 9.58 MB/s.)

0

13.05.2021

Clir · Accepted Answer

Clir

Вы точно объединяете вставки? Мерджи идут?

0

13.05.2021

184 похожих чатов

Привет всем! У нас идет большой поток данных, похоже сервер не

5 ответов

Похожие вопросы