Всем привет! Есть вопрос. Кластер 4 ноды 2x2. КХ 20.3 Диски

Question

Всем привет! Есть вопрос. Кластер 4 ноды 2x2. КХ 20.3 Диски

заполнились на 80%. Решил сделать TTL RECOMPRESS старых данных на самой жирной табличке на ZSTD.

В итоге на каждой реплике 1я нода освободила память, а 2я наоборот заняла еще больше.

node1: 80%—>76%
node2: 80%—>90%

(Вторая реплика аналогично.)

Кто-то сталкивлся с таким? Как можно пофиксить?

#backend #clickhouse #database #devops #programming #russian

0

29.04.2022

12 ответов

22 просмотра

Volodymyr Bunchuk Автор вопроса

Причем если посмотреть SUM(bytes) FROM system.parts, то видно что табличка начала меньше места занимать на всех нодах

0

29.04.2022

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
бекапы есть? в смысле в дире shadow место занято

да

0

29.04.2022

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
бекапы есть? в смысле в дире shadow место занято

а можно пожалуйста подетальнее про shadow дир? не прикасался к нему ранее

0

29.04.2022

Denny [Altinity]

Volodymyr Bunchuk
а можно пожалуйста подетальнее про shadow дир? не ...

du -sh shadow

0

29.04.2022

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
du -sh shadow

du: cannot access 'shadow': No such file or directory

0

29.04.2022

Denny [Altinity]

Volodymyr Bunchuk
du: cannot access 'shadow': No such file or direct...

sum из system.parts каким запросом делали?

0

29.04.2022

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
sum из system.parts каким запросом делали?

SELECT concat(database, '.', table) AS table, formatReadableSize(sum(bytes)) AS size, sum(bytes) AS bytes_size, sum(rows) AS rows FROM system.parts GROUP BY database, table ORDER BY bytes_size DESC LIMIT 10

0

29.04.2022

Denny [Altinity]

Volodymyr Bunchuk
SELECT concat(database, '.', table) AS table, ...

т.е. сразу и активные и неактивные парты. т.е. то что возвращает этот запрос должно совпадать по размеру с тем что на диске

0

29.04.2022

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
т.е. сразу и активные и неактивные парты. т.е. то ...

я сужу по самой крупной табличке она была 2Тб стала 1.8Тб. Такое на всех 4 нодах только если смотреть на занятую память в системе на додах 1 и 3 память действительно освободилась, а на нодах 2 и 4 наоборот

0

29.04.2022

Volodymyr Bunchuk Автор вопроса

Denny [Altinity]
т.е. сразу и активные и неактивные парты. т.е. то ...

возможно глупость скажу, но может быть такое что КХ создал новые парты с новой компрессией и не удалил старые, со старой компрессией?

0

29.04.2022

Denny [Altinity]

Volodymyr Bunchuk
возможно глупость скажу, но может быть такое что ...

они видны в FROM system.parts как not active, КХ не может не удалить, ищите du -sh ... сравнивайте размеры баз -> таблиц возможно мусор в detached

0

29.04.2022