184 похожих чатов

Мержится 4 парта по 200GB Они сейчас мержатся в один. Правильно ли

я понимаю, что потребуется дополнительно 800GB места на диске (в сумме 1.6TB)?

16 ответов

14 просмотров

если мерж уже идет, значит свободное место аллоцировано (не физически на диске. но логически в system.disks есть такое понятие как unallocated_space) все верно если исходные парты 4 по 400 то конечный будет немного меньше 800 ... но от данных и структуры зависит...

Станислав- Автор вопроса
Slach [altinity]
если мерж уже идет, значит свободное место аллоцир...

Т.е. если он начал мержить, то можно не беспокоиться? )

Станислав
Т.е. если он начал мержить, то можно не беспокоить...

да, мерж не начинается если места не хватало ну бескооиться можно только если у вас еще кто-то кроме клика на диск активно пишет ...

Станислав
Т.е. если он начал мержить, то можно не беспокоить...

но вообще парты по 800 гигов, такое себе занятие... там по умолчанию максимальный размер 150 гигов сжатыми ... мы у себя до 50 сократили...

Станислав- Автор вопроса
Slach [altinity]
но вообще парты по 800 гигов, такое себе занятие.....

Я добавил проекцию в таблицу с 50млрд записями. Материализую ее, по логам увидел что он сейчас мержит... В настройках не менял ограничение на размер парта.

а ну там сам парт + проекция

Станислав- Автор вопроса
Slach [altinity]
а ну там сам парт + проекция

В итоге он скушал все место на диске, удалил все tmp парты и начал материалицию заново... Подскажите, как можно сделать так, чтобы он не мержил такой большой объем?

Станислав- Автор вопроса

https://pastila.nl/?02ba2a56/f709b2b02cd64864c5502a7ea9f67ebd

Станислав
https://pastila.nl/?02ba2a56/f709b2b02cd64864c5502...

ну как бы ... видимо мутация место не проверяет... kill mutation, drop projection вам светит и диска добавить... SELECT formatReadableSize(bytes_on_disk) FROM system.parts WHERE name='all_11640_316901_10_321879' AND table='keywords_stats_products' и сравнить с https://clickhouse.com/docs/en/operations/settings/merge-tree-settings#max-bytes-to-merge-at-max-space-in-pool оно 150 гигов по умолчанию посмотрите ваши system.merge_tree_settings

Станислав- Автор вопроса
Slach [altinity]
ну как бы ... видимо мутация место не проверяет......

161061273600 стоит по-дефолту. Буду диск добавлять =/

Станислав- Автор вопроса
Slach [altinity]
а парт этот здоровый сколько по итогу?

https://pastila.nl/?0c98a266/ba52b2660870aea7335aba50f5dc1f92

Станислав
https://pastila.nl/?0c98a266/ba52b2660870aea7335ab...

ну вроде ок... пролазит под размер... непонятно SELECT formatReadableSize(unreserved_space), formatReadableSize(keep_free_space), path FROM system.disks ?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта