Привет. У нас в логах кластера КХ часто идут ошибки

Question

Привет. У нас в логах кластера КХ часто идут ошибки

"Too many parts" по некоторым таблицам, при этом в system.merges я не вижу этих таблиц - там мелькают очень быстрые мержи по другим таблицам, где num_parts 3-5 штук. А по тем таблицам, где в логах вижу в ошибках "Too many part", обычно в этих же логах указано очень большое количество партов - 120-160 тысяч, например. Но в моем понимании они тоже должны мержиться, причём постоянно, но тогда они должны отражаться в system.merges, а я их не вижу. Я куда-то не туда смотрю? или по этим таблицам после превышения какого-то кол-ва партов мердж вообще не проводится?

#backend #clickhouse #database #devops #programming #russian

0

17.10.2023

3 ответов

17 просмотров

Oleg Ladygin Автор вопроса

Dmitry [Altinity] Titov
А что в system.replication_queue

Спасибо. В replication_queue вижу больше миллиона записей по разным таблицам, в том числе и по тем, по которым были ошибки "Too many parts" - по таким num_postponed может быть например = 86. В postpone_reason обычно одна и та же фраза Not executing... because 8 fetches already executing, max 8. У нас обычно затягивается из кафки 20-30 топиков, таблиц соответственно минимум х2. Я правильно понимаю, что число фетчеров нужно увеличить до 40-60?

0

17.10.2023

Oleg Ladygin Автор вопроса

Oleg Ladygin
Спасибо. В replication_queue вижу больше миллиона ...

и это делается параметром background_fetches_pool_size?

0

17.10.2023

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

А что в system.replication_queue

0

17.10.2023

184 похожих чатов

Привет. У нас в логах кластера КХ часто идут ошибки

3 ответов

Похожие вопросы