184 похожих чатов

Друзья, мало опыта у нас и инфы в интернете, поэтому

пишу сюда.

Как можно ускорить простой запрос и можно ли вообще:
SELECT * FROM transactions WHERE clickid='74af6c278b79a7bcbe18aaa3725cdece'

КХ на одной машине (с коробки, не тюнили), MergeTree, clickid типа FixedString(32), в индекс не добавлено (есть более приоритетные поля для индекса),

результат: 0.15 sec.| 5,521,409 rows.| 175 MB

Куда можно покопать?

19 ответов

8 просмотров

это не очень хороший юзкейс для кх (точечные поиски). немного поможет вторичный индекс, но вы уверены, что вам это нужно? 🙂

Пользователь 61745
а в кх завезли вторичный индекс?

вроде бы да? https://clickhouse.tech/docs/ru/sql-reference/statements/alter/index/

Сделать таблицу с ПК на clickid

Alex Zelensky (Scaleo)- Автор вопроса
Anton
это не очень хороший юзкейс для кх (точечные поиск...

Понимаю, что не очень юзкейс, но точно нужно ускорить)

Пользователь 61745
а в кх завезли вторичный индекс?

он давно есть, но он "ненастоящий". Это скип индекс...

если кардинальность очень высокая скип индекс может помочь, если у вас повторяется в каждой грануле, то не поможет, добавьте в индекс, чем раньше (в плане порядка) тем лучше

Anton
вроде бы да? https://clickhouse.tech/docs/ru/sql-r...

это не те индексы, они не инверсные

KV база нужна, нахера тут КХ ?

Denny [Altinity]
это не те индексы, они не инверсные

А можно пояснение или пинок в сторону документации с пояснениями?

Anton
А можно пояснение или пинок в сторону документации...

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-data_skipping-indexes

Anton
А можно пояснение или пинок в сторону документации...

индекса как такого нет, нельзя узнать в каком парте, в какой грануле, в какой строке хранится значение col=345645674567567 skip индекс хранится в парте КХ , например можно сделать индекс bloom_filter , в каждом парте будет лежать огромный blob = 10 МБ , который будет отвечать почти всегда: "да тут есть в парте 345645674567567" (у блум фильтра большой false positive). потом будет переход в колонку и поиск там 345645674567567, там конечно нету 345645674567567, в итоге все работает медленее чем без индекса. min_max работать не будет, потому что в каждом парте будет примерно min = минус_бесконечность, max = плюс_бесконечность, поэтому 345645674567567 попадает в этот диапазон set тем более не работает, это тоже самое что колонку еще раз положить в парт.

Denny [Altinity]
индекса как такого нет, нельзя узнать в каком парт...

А какие объекты индекс «скипает»? Парты целиком?

Anton
А какие объекты индекс «скипает»? Парты целиком?

гранулы основного индекса, skip индекс покрывает одну или несколько гранул основного индекса (задается при создании) для поиска каких-то рандомных значений размазанных по столбцу вообще не работает

Denny [Altinity]
гранулы основного индекса, skip индекс покрывает о...

Ну так гранулы уже не так плохо. Есть ощущение, что при правильно подобранных параметрах того же блума все же можно получить выигрыш (ну грубо прочитать пару лишних false positive гранул может быть выгоднее, чем фигачить фулкан по колонке)

Anton
Ну так гранулы уже не так плохо. Есть ощущение, чт...

блум просто писец насколько тяжелый в размере и в cpu нужном для вычисления, в 99% дешевле всю колонку просканировать

Партиционирование по хешу от ид, разве что. Отключить кастомные кодеки сжатия для колонки кликид. Ну и селектить * из клика как обычно плохая идея.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта