Всем привет! Мы получили продакшн Кликхаус кластер на 6 нод,

Question

Всем привет! Мы получили продакшн Кликхаус кластер на 6 нод,

куда заезжают данные за полгода для аналитической системы в размере ~100 миллиардов строк в основной таблице. Таблица партиционирована по дате ивента и шардирована по индентификатору девайса. Данные относительно равномерно размазаны по нодам кластера. Ребята, подскажите, пожалуйста, из вашего опыта, под такие объемы с какими параметрами кластера вы работали чтобы извлечь максимальный перфоманс запросов? Сколько было нод, их параметры, другие конфигурации? Что можете посоветовать проверить в части настроек? Заранее благодарю за ответы!

#backend #clickhouse #database #devops #programming #russian

0

13.08.2023

15 ответов

21 просмотр

Dmitry [Altinity] Titov

Все зависит от сложности запросов и самой форме данных

0

13.08.2023

Igor Gorbenko Автор вопроса

Yuran
Да на вид всё хорошо спроектировано, обычно для оч...

перфоманс запросов пока не радует. Надо раз в 20 быстрее :)

0

13.08.2023

Igor Gorbenko Автор вопроса

Dmitry [Altinity] Titov
Все зависит от сложности запросов и самой форме да...

основной паттерн запроcов имеет следующий вид: сначала из локальных таблиц фильтруются аудитории по своим фильтрам, а затем это все идет в качестве фильтра к распределенной таблице, чтобы данные вычитывались только со своих нод: with tmp_audience_1 as ( select distinct device_id from base_table_local where ... filter for tmp_audience_1 ), tmp_audience_2 as ( select distinct device_id from base_table_local where ... filter for tmp_audience_2 ), ... tmp_audience_n as ( select distinct device_id from base_table_local where ... filter for tmp_audience_n ) select geo_hash_9, sum(cnt) from base_table_distributed where ( device_id in (select device from tmp_audience_1) or device_id in (select device from tmp_audience_2) or ... device_id in (select device from tmp_audience_n) ) group by 1

0

13.08.2023

Roman

Igor Gorbenko
основной паттерн запроcов имеет следующий вид: сна...

Это немного не так работает.

0

13.08.2023

Boris

Igor Gorbenko
основной паттерн запроcов имеет следующий вид: сна...

base_table_local - действительно одна и та-же или это упрощение для примера?

0

13.08.2023

Igor Gorbenko Автор вопроса

Boris
base_table_local - действительно одна и та-же или ...

одна и та же

0

13.08.2023

Boris

Igor Gorbenko
одна и та же

А зачем тогда 10 дистинктов вместо 1? Так действительно быстрее получается?

0

13.08.2023

Igor Gorbenko Автор вопроса

Boris
А зачем тогда 10 дистинктов вместо 1? Так действи...

это проверю, может есть смысл этого не делать

0

13.08.2023

Boris

Igor Gorbenko
это проверю, может есть смысл этого не делать

сколько примерно device_id вылезает из каждого фильтра и суммарно?

0

13.08.2023

Igor Gorbenko Автор вопроса

в каждом tmp_audience может быть от нескольких тысяч до сотни миллионов уникальных device_id

0

13.08.2023

Boris

Igor Gorbenko
в каждом tmp_audience может быть от нескольких тыс...

device_id конечно же ужасный UUID? Или есть шанс переделать на UInt64? Наборы условий фиксированные или полный adhoc?

0

13.08.2023

Igor Gorbenko Автор вопроса

Boris
device_id конечно же ужасный UUID? Или есть шанс ...

к сожаленеию, это UUIID и условия фильтрации всегда рандомные

0

13.08.2023

Boris

Igor Gorbenko
к сожаленеию, это UUIID и условия фильтрации всегд...

Если тут ничего не менять, то никаких x20 ускорений не получится. Однако: 1. Можно попробовать выключить use_index_for_in_with_subqueries или поднастроить ее новыми сеттингами - https://github.com/ClickHouse/ClickHouse/issues/39865 2. Можно поэкспериментировать с N-Distinct, собрав все условия вместе. И даже совсем отказаться от distinct - IN все равно построит hash таблицу (но см. выше) 3. У вас там получаются point query в основную таблицу, так что еще можно попробовать понизить index_granularity. Так будет меньше читать лишнего с диска, но сожрет больше RAM для PK.

0

13.08.2023

Igor Gorbenko Автор вопроса

Boris
Если тут ничего не менять, то никаких x20 ускорени...

Спасибо за советы!

0

13.08.2023

Yuran · Accepted Answer

Yuran

Да на вид всё хорошо спроектировано, обычно для очень популярных видов запросов и агрегаций ещё матвью делают, а так выглядит хорошо

0

13.08.2023

184 похожих чатов

Всем привет! Мы получили продакшн Кликхаус кластер на 6 нод,

15 ответов

Похожие вопросы