Доброй ночи, вот здесь https://github.com/ClickHouse/ClickHouse/issues/14764 пишут "Compact parts are slightly

Question

Доброй ночи, вот здесь https://github.com/ClickHouse/ClickHouse/issues/14764 пишут "Compact parts are slightly

slower for SELECT but with the 10 MB threshould you will have only a small portion of data in compact parts and the difference will be neglible. At the same time, compact parts are much faster for INSERT and as INSERTs generate small parts, they will benefit from compact format."
Можно ли из этого сделать вывод, что нужно стараться вставлять такими батчами, чтобы создавались парты типа compact? Я, честно говоря, предполагал, что для максимизации скорости вставка должна идти максимально возможными батчами. Это заблуждение?

#backend #clickhouse #database #devops #programming #russian

0

21.10.2021

7 ответов

18 просмотров

【D】【J】

тут надо отметить, мы например используем вообще полностью только компактные парты для таблиц с 1000-ми колонок на больших схемах (иначе КХ просто не стартанет). особого замедления на селектах не замечено...

0

21.10.2021

Yuran

Насколько я знаю, вставки только до ~1 млн строк атомарны, так что прямо совсем огромные вставки делать тоже нет смысла. ИМХО оптимально вставлять такими батчами, чтобы не больше ~1 инсерта в секунду делать на весь сервер, т.е. если например есть 30 таблиц, то в каждую вставлять не чаще раза в 30 секунд, ну или пока не накопите ~несколько сотен тысяч строк.

0

21.10.2021

Denny [Altinity]

【D】【J】
тут надо отметить, мы например используем вообще п...

круто и сколько строк в таблицах?

0

21.10.2021

Denny [Altinity]

Yuran
Насколько я знаю, вставки только до ~1 млн строк а...

все несколько сложнее, (до ~1 млн строк атомарны) -- если соблюдается несколько условий, тут в чатике есть люди которые вынуждены вставлять по 20млн.(тоже атомарно), и у них триллионы узких строк в таблице.

0

21.10.2021

【D】【J】

Denny [Altinity]
круто и сколько строк в таблицах?

не особо, любой запрос без partitionkey 'умирает', это форсится =) а в многострочной где то по 312 млн в день, где то 9 млрд в месяц набежит... просто их много же... поэтому то что пару запросов чуток медленно - это не страшно

0

21.10.2021

【D】【J】

Denny [Altinity]
круто и сколько строк в таблицах?

причем сейчас заметил ещё парты что-то без пинка не мерджатся, по 15 активных в партишне... придется ещё и принудительный optimize делать

0

21.10.2021

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

Скорее компактные парты это оптимизация для тех, кто не может вставлять большими батчами

0

21.10.2021

184 похожих чатов

Доброй ночи, вот здесь https://github.com/ClickHouse/ClickHouse/issues/14764 пишут "Compact parts are slightly

7 ответов

Похожие вопросы