Всем привет! Насколько нормальная идея создать удобное представление (вьюху) для

Question

Всем привет! Насколько нормальная идея создать удобное представление (вьюху) для

большой таблицы, а потом в приложении делать запросы уже во вьюху со всеми фильтрами и сортировками? Сильно ли это скажется на производительности или вообще нейтрально?

#backend #clickhouse #database #devops #programming #russian

0

02.08.2021

19 ответов

15 просмотров

Konstantin Ilchenko

Надо тестировать, может быть так что некоторые оптимизации не будут работать, и запрос напрямую в основную таблицу будет работать намного быстрее. Зависит от вашей вьшки

0

02.08.2021

Ivan Blohin Автор вопроса

Konstantin Ilchenko
Надо тестировать, может быть так что некоторые опт...

нуллифы, dictget'ы, concat'ы)

0

02.08.2021

Al T

если обычная вьюха нематериализованная - то без разницы, если материализованная - то так все и делают, единственное что - нужно при апдейтах и делитах ручками обновлять материализованное представление

0

02.08.2021

Ivan Blohin Автор вопроса

Al T
если обычная вьюха нематериализованная - то без ра...

нематериализованная, да т.е. дополнительных накладных расходов не будет? оно не будет пытаться засунуть таблицу в память? очень слаб в этих вопросах

0

02.08.2021

Clir

чтобы прочитать нужные поля из вью, вью прочитает все поля которые будут указаны в основной таблице. если там будут группировки, и потом по ним выбрать еще данные, то естественно это будет медленнее, чем забрать нужные столбцы из оригинальонй таблицы

0

02.08.2021

Ivan Blohin Автор вопроса

Clir
чтобы прочитать нужные поля из вью, вью прочитает ...

как правило я забираю все столбцы, группировок нет

0

02.08.2021

Al T

Ivan Blohin
нематериализованная, да т.е. дополнительных наклад...

нет, будет вложенная query. Normal views do not store any data. They just perform a read from another table on each access. In other words, a normal view is nothing more than a saved query. When reading from a view, this saved query is used as a subquery in the FROM clause.

0

02.08.2021

Ivan Blohin Автор вопроса

Al T
нет, будет вложенная query. Normal views do not st...

спасибо! select * from (select * from view where a = b) запрос во вьюхе - сотни миллионов строк в оперативку они не пойдут, все будет хорошо?) формулировка как раз про это?

0

02.08.2021

Al T

Ivan Blohin
спасибо! select * from (select * from view where a...

в оперативку не пойдут, но причина по который вы хотите так делать не очень понятна... естественно лучше если на уровне view вы будете отсекать как можно больше строк

0

02.08.2021

Ivan Blohin Автор вопроса

Al T
в оперативку не пойдут, но причина по который вы х...

я не до конца уверен, что буду делать так как раз во вьюхе не будет никаких фильтров и сортировок просто из приложения хочу обращаться уже к готовой таблице и разработчикам дать уже готовую таблицу готовую для фильтрации и сортировок из разных приложений так что хотелось бы точно знать не будет ли оно потреблять значительно больше ресурсов если не пойдет в оперативку, то, наверное, все ок и так можно?

0

02.08.2021

Al T

Ivan Blohin
я не до конца уверен, что буду делать так как раз ...

Вы хотите от разработчиков скрыть определеные колонки? И поэтому использовать View?

0

02.08.2021

Ivan Blohin Автор вопроса

Al T
Вы хотите от разработчиков скрыть определеные коло...

в том числе + заранее сделать всякие такие штуки concat( '', if(Impact = 'HIGH', 'HIGH|', ''), if(lof != '.' or lof = '', 'LoF|', ''), if(nmd != '.' or nmd = '', 'NMD|', ''), if(sr != '', 'SR|', ''), if(sa != '', 'SA|', ''), if(sd != '', 'SD|', ''), if(length(RU) = 1 and toInt8OrZero(REFREP) < 4, 'Rep|', ''), if(length(RU) = 1 and toInt8OrZero(REFREP) > 4, 'HomoP|', '') ) flag_filter

0

02.08.2021

【D】【J】

Ivan Blohin
я не до конца уверен, что буду делать так как раз ...

в вашем случае да, есть пушдаун оптимизация если нет всяких групбай и прочего

0

02.08.2021

Ivan Blohin Автор вопроса

【D】【J】
в вашем случае да, есть пушдаун оптимизация если ...

спасибо!

0

02.08.2021