Привет. Довольно абстрактный вопрос, что в среднем эффективнее использовать для

Question

pgsql – PostgreSQL

Егор Малютин

Привет. Довольно абстрактный вопрос, что в среднем эффективнее использовать для

решения n+1, кучу inner джоинов или cte или несколько запросов?

#backend #devops #pgsql #programming #russian

0

08.09.2023

15 ответов

11 просмотров

Егор Малютин Автор вопроса

Petr
Мне видится, что "кучу" join'ов. Всё-таки они имен...

Для каких то простых запросов это понятно. Но меня скорее случай когда есть много уровней вложенных запросов формата many to many

0

08.09.2023

Kairat

Егор Малютин
Для каких то простых запросов это понятно. Но меня...

необходимо учесть, что планировщик эффективно строит план для относительно небольшого количества таблиц при джоинах и увеличение количества таблиц приведет к увеличению этапа разбора запроса и построения плана. Гляньте параметры join_collapse_limit и from_collapse_limit. У меня был случай, когда в запросе использовались представления, вложенные друг в друга, и запрос ужасно тормозил, деградируя до full scan. Увеличение join_collapse_limit и from_collapse_limit с базовых 8 до 20 решило проблему и план задействовал индексное сканирование. Учтите, что увеличение параметров приведет к нагрузке на ЦПУ

0

08.09.2023

Yaroslav Schekin

Kairat
необходимо учесть, что планировщик эффективно стро...

Ну так поднять их до значения, большего максимального количества JOIN в используемых запросах, да и всё. Defaults всё равно очень консервативные.

0

08.09.2023

Егор Малютин Автор вопроса

Kairat
необходимо учесть, что планировщик эффективно стро...

Спасибо))

0

08.09.2023

Konstantin Zaitsev

Kairat
необходимо учесть, что планировщик эффективно стро...

Да но это может привести к обратному эффекту, когда план строится неприемлемо долго.

0

08.09.2023

Kairat

Konstantin Zaitsev
Да но это может привести к обратному эффекту, когд...

Честно говоря, не сталкивался с такими случаями, чтобы план строился дольше 1 секунды, обычно десятки мсек или сотни на oltp системах. Возможно, в olap так?

0

08.09.2023

Ilya Portnov

Kairat
Честно говоря, не сталкивался с такими случаями, ч...

сделайте несколько таблиц с несколькими сотнями партиций в каждой, и поджойтине их...

0

08.09.2023

Kairat

Извините, а в каком таком кейсе в oltp нужны данные из сотен партиций одновременно? Если мы говорим о реальном кейсе

0

08.09.2023

Ilya Portnov

Kairat
Извините, а в каком таком кейсе в oltp нужны данны...

планировщик не всегда способен отбросить большинство партиций на этапе планирования :/

0

08.09.2023

Kairat

Ilya Portnov
планировщик не всегда способен отбросить большинст...

Больше смахивает на ошибку при проектировании :)

0

08.09.2023

Konstantin Zaitsev

Kairat
Больше смахивает на ошибку при проектировании :)

да достатточно просто несколько вложенных select c join

0

08.09.2023

Ilya Portnov

Kairat
Больше смахивает на ошибку при проектировании :)

при джойнах нескольких партиционированных таблиц, особенно если иногда партиционированные с непартиционированными джойнить, планировщик часто не может "прокинуть" даже явные ограничения на ключ партиционирования через несколько таблиц. Т.е. T1 join T2 where T1.id between 100 and 500 — в чуть более сложных случаях не сообразит какие именно партиции из T2 нужны.

0

08.09.2023

Roman

Ilya Portnov
при джойнах нескольких партиционированных таблиц, ...

что можно обойти указав явно диапазон для секционированной t2.

0

08.09.2023

Ilya Portnov

Roman
что можно обойти указав явно диапазон для секциони...

можно. Но это надо не забывать делать для каждого такого запроса и для каждой входящей в него партиционированной таблицы.

0

08.09.2023