Привет! Мои эксперименты на больших объемах словарей и больших табличках

Question

Привет! Мои эксперименты на больших объемах словарей и больших табличках

на кластере (30 шардов) идут интересно, памяти запросы со словарями кушают больше, а вот по скорости выполнения запроса чтение int колонки и добавление словарей налету почти всегда равно или меньше чтения Nullable String (это не совсем честно, но данные такие) колонки в самой таблице. (если есть идеи, почему так, поделитесь, плз)

Дошел до эксперимента с WHERE. вот тут по скорости улучшений не вижу, но встает вопрос, описано ли где-то, вдруг оптимизатор работает продуманно и меняет мой запрос не на сплошное чтение и приведение к словарю, а типа как в снежинке MS SQL / SAP BW:
where dict_val in ('Moscow','New-York')

и вместо этого в БД отдает
where dict_key_in_table in (355,18), заранее выбирая все ключи, подходящие в словаре к dict_val?

// это я мечтаю, но думаю, где бы посмотреть =)

#backend #clickhouse #database #devops #programming #russian

0

25.07.2023

7 ответов

12 просмотров

Алексей Фирсов

А вы что, к словарям обращаетесь как к таблицам, не через dictGet ?

0

25.07.2023

Юра Красильников Автор вопроса

Алексей Фирсов
А вы что, к словарям обращаетесь как к таблицам, н...

через dictget, ага!

0

25.07.2023

Юра Красильников Автор вопроса

Konstantin Ilchenko
вы бы примеры запроса и схемы приводили, ничего не...

SELECT t1.federal_district_en_name_dict AS res_0, sum(t1.sum) AS res_1 FROM ( select *, dictGetString('junk_cubes.get_federal_district_by_region_id','federal_district_en_name', region_id) as federal_district_en_name_dict FROM junk_cubes.pz_distributed ) AS t1 WHERE t1.federal_district_en_name_dict IN ('Central Federal District') AND t1.datetime BETWEEN toDateTime('2023-01-27T00:00:00') AND toDateTime('2023-04-25T23:59:59') GROUP BY res_0 ORDER BY res_0 ASC NULLS FIRST LIMIT 0, 100 вот как бы узнать, каким образом прогоняется WHERE выделенный жирным? просто фулл подтягивается дикт и потом условие обычное? или как-то более умно, типа выцепляет список id и его в фильтр region_id вставляет =)

0

25.07.2023

Denny [Altinity]

Юра Красильников
SELECT t1.federal_district_en_name_dict AS res_0, ...

полностью все строки итерируются нету там более умно и вообще словарь это K/V хеш таблица, там все обращение по ключу, нельзя найти значение не пробежав по всем ключам, т.е. физически нельзя.

0

25.07.2023

Юра Красильников Автор вопроса

Denny [Altinity]
полностью все строки итерируются нету там более ум...

Спасибо! Так и думал, но вдруг =) но в целом прикольно работает, по перфомансу и так устраивает, учитывая кейс, что не надо благодаря этому пересчитывать историю за N лет по изменениям в этих справочниках.

0

25.07.2023

Denny [Altinity]

>Nullable String (это не совсем честно, но данные такие) колонки в самой таблице. (если есть идеи, почему так, поделитесь, плз) я не верю

0

25.07.2023

Konstantin Ilchenko · Accepted Answer

Konstantin Ilchenko

вы бы примеры запроса и схемы приводили, ничего не понятно) Ну и в КХ нет оптимизатора, не о чем мечтать в целом

0

25.07.2023

184 похожих чатов

Привет! Мои эксперименты на больших объемах словарей и больших табличках

7 ответов

Похожие вопросы