184 похожих чатов

Всем привет! Подскажите пожалуйста, очень странное и интересное наблюдение Есть табличка

типа (id, currency, value)

запрос SELECT count() FROM table GROUP BY curreny выполняется 0.39с, прочитано 1 миллиард строк, 5 Гб, 2.5 миллиарда строк в секунду, 12.5 Гб/секунду

Добавляю row policy (https://kb.altinity.com/altinity-kb-queries-and-syntax/row_policy_using_dictionary) для нескольких ID и тот же запрос выполняется немного дольше (0.82с), кол-во прочитанных строк все так же 1 миллиард, а вот прочитанных данных становится 21 Гб (в 4 раза больше)

Причем такая картина наблюдается в любых формат row policy, и через словарь, и через subquery, и через условие id not in

А в примерах из статьи кол-во прочитанных данных не меняется

Все запросы и лог их результатов загрузил сюда (https://pastila.nl/?019fca78/ebb1ed99d01eb705d88b8f3bff661d55#59A40mEFT+bJS25wD1PFCQ==)

3 ответов

6 просмотров

Наверное currency не первая в ключе сортировки и приходится всё читать. А id какое-то высокардинальное поле первое стоит

Stranger- Автор вопроса
Konstantin Ilchenko
Наверное currency не первая в ключе сортировки и п...

Но откуда появляется х4 прочитанных данных? Насколько я понимаю кликхаус читает данные с диска по выбранным условиям и в какой-то момент проверяет "а соответствует ли данная строчка row policy"

1. clickhouse — колоночная база 2. первому запросу — count() group by lowCardinality, достаточной прочитать одну колонку (currency). сделайте explain запроса и увидите. 3. второму надо уже подключать скан первой, чтобы отфильтровать а там тяжелые uuid. + судя по количеству просканированных строк, индекс по id особо и не помогает (скорее всего, из-за рандомного распределения высококардинальных значений)

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
А что ты вообще делаешь ?
Yesgoter
13
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
18
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
Подскажите, почему в правом коде с1 дополняется до 8байт, а не до 4?
Sergey
9
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Карта сайта