184 похожих чатов

Всем привет! Подскажите пожалуйста, очень странное и интересное наблюдение Есть табличка

типа (id, currency, value)

запрос SELECT count() FROM table GROUP BY curreny выполняется 0.39с, прочитано 1 миллиард строк, 5 Гб, 2.5 миллиарда строк в секунду, 12.5 Гб/секунду

Добавляю row policy (https://kb.altinity.com/altinity-kb-queries-and-syntax/row_policy_using_dictionary) для нескольких ID и тот же запрос выполняется немного дольше (0.82с), кол-во прочитанных строк все так же 1 миллиард, а вот прочитанных данных становится 21 Гб (в 4 раза больше)

Причем такая картина наблюдается в любых формат row policy, и через словарь, и через subquery, и через условие id not in

А в примерах из статьи кол-во прочитанных данных не меняется

Все запросы и лог их результатов загрузил сюда (https://pastila.nl/?019fca78/ebb1ed99d01eb705d88b8f3bff661d55#59A40mEFT+bJS25wD1PFCQ==)

3 ответов

8 просмотров

Наверное currency не первая в ключе сортировки и приходится всё читать. А id какое-то высокардинальное поле первое стоит

Stranger- Автор вопроса
Konstantin Ilchenko
Наверное currency не первая в ключе сортировки и п...

Но откуда появляется х4 прочитанных данных? Насколько я понимаю кликхаус читает данные с диска по выбранным условиям и в какой-то момент проверяет "а соответствует ли данная строчка row policy"

1. clickhouse — колоночная база 2. первому запросу — count() group by lowCardinality, достаточной прочитать одну колонку (currency). сделайте explain запроса и увидите. 3. второму надо уже подключать скан первой, чтобы отфильтровать а там тяжелые uuid. + судя по количеству просканированных строк, индекс по id особо и не помогает (скорее всего, из-за рандомного распределения высококардинальных значений)

Похожие вопросы

Обсуждают сегодня

Кстати, а я вот тут подумал. Допустим, у нас имеется цикл который выполняет огромное количество итераций, но мы хотим, чтобы какие-то действия исполнилось только один раз. В Я...
The Bird of Hermes
23
Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
28
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
анрей С какой целью зашёл?
КТ315
42
Всем привет 👋 Подскажите пожалуйста, а чего тут не хватает permission или образ битый? Running with gitlab-runner 17.0.0 (44feccdf) on gitlab-runner-c58775949-d7znz YxYz2zp...
Max
2
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
@not_fajox С какой целью зашёл?
КТ315
9
Короче получается только кнопки не поменять А кнопки вроде тоже слетают при редактировании не?
inc.
10
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Карта сайта