184 похожих чатов

Здравствуйте Подскажите как лучше сделать) Есть таблица test(id, string_field, date, ....., my_id)

order by(id, string_field) partition by MM(date)
В этом таблице хранятся какие-то данные, мне нужно сделать такую выборку
where string_field = 'asd' and date < some_date and date > some_date2 AND my_id = 1

Проблема в том, что добавление условия по my_id заставляет сканить данные выбранные по date и string_field в памяти и потом только фильтовать по my_id
Можно ли добавить индекс/сделать какую-то другую оптимизацию ? Буду благодарен за помощь!

Так же еще интересует вопрос, почему при изменении с my_id = 1 на my_id in (1) начинает сканиться ВСЯ таблица ?
Спасибо!

8 ответов

21 просмотр

про какой КХ речь? my_id in (1) и my_id in (select 1) сейчас вроде одинаково работают. >Проблема в том, что добавление условия по my_id заставляет сканить данные выбранные по date и string_field в памяти и потом только >фильтовать по my_id почему в памяти? прунинг отсекает партиции date < some_date and date > some_date2 индекс использовать нельзя, не подходит он поэтому сканируются после прунинга партиции my_id = 1 А как еще? раз у вас my_id не в индексе?

Mishanya- Автор вопроса
Denny [Altinity]
про какой КХ речь? my_id in (1) и my_id in (se...

кх 20.3 когда указано my_id =1 то в трейсе пишется, что этот кондишн переносится в prewhere и все работает +- норм // занимает < 1gb если указать my_id in (1) то никакой информации об этом нет и вся партиция переносится в память и потом отваливается по лимиту. // limit 10gb > раз у вас my_id не в индексе? мне интересно, есть ли какой-нибудь возможный варик оптимизации

Mishanya
кх 20.3 когда указано my_id =1 то в трейсе пишетс...

ну так так и пишите select ... from ... prewhere my_id in (1) where string_field = 'asd' and date < some_date and date > some_date2 оптимизатор тупой и не понимает что my_id in (1) лучше перенести

Mishanya- Автор вопроса
Denny [Altinity]
ну так так и пишите select ... from ... prewhere ...

спасибо, думаю так и сделаю. а про условие скана партиции и потом фильтрации по полю my_id особо ничего не придумаешь ?

Mishanya
спасибо, думаю так и сделаю. а про условие скана...

попробуйте объяснить другими словами. Я вас не понимаю.

Mishanya- Автор вопроса
Denny [Altinity]
попробуйте объяснить другими словами. Я вас не пон...

у меня есть таблица, партиционированная по дате мне нужно сделать выборку по полю, которое не находится в order by и partition by можно ли как-то получить данные вместо скана всей партиции и последщуюей фильтрации, а прочитать сразу нужные мне данные, например, добавив какой-нибудь сторонний индекс ?

Mishanya
у меня есть таблица, партиционированная по дате мн...

иногда (ну очень редко) помогают skip index. Т.е. например вам надо всегда my_id=1 и =1 бывает очень редко, можно сделать index в котором будут только my_id=1. Если нужны любые my_id, их очень много разных , и они размазаны ровным слоем по таблице, то с вероятностью 1/1млн. может помочь skip_index bloom_filter. Я не использую skip index, делаю дополнительные таблицы, которые по сути являются инверсными индексами

Mishanya- Автор вопроса
Denny [Altinity]
иногда (ну очень редко) помогают skip index. Т.е. ...

супер, спасибо! ❤️ думал тоже про еще одну таблицу, но сомневался)

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта