Всем привет. Подскажите, как по-русски называется compaction sstable-ов в clickhouse? Где-то слышал,

Question

Всем привет. Подскажите, как по-русски называется compaction sstable-ов в clickhouse? Где-то слышал,

что если compaction вырастает до 100, то clickhouse замедляется, а если до 200, то перестаёт обслуживать. Не могу найти, где услышал такое. Хочется понять, на сколько авторитетные эти заявления и можно ли им верить.

#backend #clickhouse #database #devops #programming #russian

0

04.10.2021

10 ответов

22 просмотра

Aleksey Stavrov Автор вопроса

Slach [altinity]
ну вообще это называется как таковых sstable из L...

А в документации про это где-то есть? Или может видео, где это рассказывается?

0

04.10.2021

Slach [altinity]

Aleksey Stavrov
А в документации про это где-то есть? Или может ви...

https://habr.com/ru/post/539538/

0

04.10.2021

Slach [altinity]

Aleksey Stavrov
А в документации про это где-то есть? Или может ви...

https://www.slideshare.net/Altinity/clickhouse-query-performance-tips-and-tricks-by-robert-hodges-altinity-ceo

0

04.10.2021

Aleksey Stavrov Автор вопроса

Slach [altinity]
https://habr.com/ru/post/539538/

> Дело в том, что ClickHouse сортирует вставляемые строки в оперативке с использованием красно-чёрного дерева, и время от времени сбрасывает его на диск в виде immutable дата-парта. Эмм... там memstore есть? вроде бы небыло же)

0

04.10.2021

Slach [altinity]

Aleksey Stavrov
> Дело в том, что ClickHouse сортирует вставляемые...

при вставке данные сортируются имеется ввиду

0

04.10.2021

Aleksey Stavrov Автор вопроса

Slach [altinity]
при вставке данные сортируются имеется ввиду

Окей. Спасибо. Извините, что мучаю вопросами) Непонятно, зачем для сортировки именно rbtree использовать, когда можно просто посортировать и сложить на диск. Я бы rbtree использовал как раз для memstore)

0

04.10.2021

Slach [altinity]

Aleksey Stavrov
Окей. Спасибо. Извините, что мучаю вопросами) Неп...

"просто отсортировать" это как? ;) quicksort ? ;)

0

04.10.2021

Aleksey Stavrov Автор вопроса

Slach [altinity]
"просто отсортировать" это как? ;) quicksort ? ;)

К примеру) Вы хотите сказать, что невыйдет?)

0

04.10.2021

Slach [altinity]

Aleksey Stavrov
К примеру) Вы хотите сказать, что невыйдет?)

=) нет, просто хочу сказать что алгоритмы сортировки разные и некоторые лучше подходят для вставки не уверен что в статье на хабре замечание про красно-черные деревья актуальное я сам не знаю что именно там ;) бегло пробежал по исходникам, по названиям классов не видно

0

04.10.2021

Slach [altinity] · Accepted Answer

ну вообще это называется как таковых sstable из LSM в clickhouse нет но да, внутреняя структура это разреженный индекс по русски это будет bacground merge или фоновое слияние там прямо реально сортировка слиянием идет в этот момент clickhouse замедляется когда data parts много на один partition, это да это возникает от кривых паттернов вставки (мелкие батчи)

184 похожих чатов

Всем привет. Подскажите, как по-русски называется compaction sstable-ов в clickhouse? Где-то слышал,

10 ответов

Похожие вопросы