Добрый день! такая беда 0. ставлю max_insert_threads = 6 1. делаю select-insert большой

Question

Добрый день! такая беда 0. ставлю max_insert_threads = 6 1. делаю select-insert большой

таблицы (на самом деле партиции: я переношу огромную таблицу по партициям)
2. оно показывает какое-то фантастическое rows/s
3. и через пару минут падает с Too many parts
4. но зато если не падает (например, если поставить max_insert_threads поменьше, или просто если повезёт), то со временем rows/s становится совсем маленький, и всё очень долго

есть какой-то механизм (само)регуляции, чтобы КХ не пытался отправлять больше, чем он может обработать?
например, какой-нибудь многоступенчатый parts_to_delay_insert
то есть я понимаю, что в общем случае надо, наверное, подбирать параметры parts_to_throw_insert и parts_to_delay_insert под нагрузку
но как быть, когда эту нагрузку генерирует сам КХ?

может, для инсерт-селектов есть какое-то специальное решение?

#backend #clickhouse #database #devops #programming #russian

0

16.06.2020

1 ответов

15 просмотров

Yuri Velgosha · Accepted Answer

Yuri Velgosha

Вчера переливал таблицу с 800 миллионами строк из одного КХ в другой - без проблем за 15 минут залилось. too many parts обычно возникают, если ключ партиционирования неудачно подобран. Обычно хватает вот такого: PARTITION BY toYYYYMM(Date)

0

16.06.2020

184 похожих чатов

Добрый день! такая беда 0. ставлю max_insert_threads = 6 1. делаю select-insert большой

1 ответов

Похожие вопросы