Есть ли какие-нибудь (может даже опенсорс) решения для оптимизации/кэширования запросов

к DWH и БД. Предположим, есть кластер ClickHouse, в который прилетает очень много запросов на чтение и запись от разных дашбордов, BI, скриптов и просто аналитиков разных мастей. Часть SQL запросов дико неэффективные и выполняются по несколько минут и требуют кучу оперативки. В моменты пиковых нагрузок кластер слегка даже подзалипает. Хочется сделать так, чтобы без исправления самих sql запросов (их тысячи в разных местах и это невозможно физически сделать) снизить нагрузку на кластер. Может воткнуть что-то между БД и клиентами, чтобы оно трансформировало запросы, генерило материализованные вьюхи само, и как-то частично кэшировало данные. Проблема в том, что данные нужны всегда свежие. И проблема неэффективных queries стоит очень жестко (людей не научить и не заставить переписать их), это можно только как-то менять на ходу (не обязательно в режиме реального времени).
Есть ли подобные решения в природе для популярных DWH и БД?

да, мы тоже ждем AGI.

Вы таким решением создаёте будущим себе технический долг в световые годы

Наверное такое решение называется опытный Data Engineer на фултайм, который будет запросы one-by-one фиксить 🙂

оно не опен-сорзное )

подождем пару месяцеы fine-tuned LLM для data engineering на гитхабе?)

Можно тогда в чатике кликхауса спрашивать

А есть такой чатик?

В телеге даже два, англ и ру

А ссыль поделиться можешь?)

https://t.me/clickhouse_ru

Т.е. использование powerbi априори загоняет в долги? 🤔

можно попробовать поставить ssd/nvme ))

Экстенсивный путь — такое себе решение. Хочется всё же оптимизацию того, что есть.

Это другое же...

Ну просто логика работы powerbi подразумевает использование моделей данных на стороне клиента, тем самым позволяя делать кеш на текущий момент времени и используя его по ситуации. Грубо: матвьюхи отдали на откуп пользователям...

Так повербиай графики рисует, а то нет

Насколько я помню, CHProxy как раз умеет в такое кэширование. Да и в самом клике кэш блоков данных можно настраивать. Ну а так да, как советуют коллеги. Берешь из system.queries запросы, выбираешь самые частые и неэффективные, оптимизируешь, отдаешь обратно аналистам нотебук, они в него тыкают по 69 раз в день. Ну или во вьюху оборачиваешь, чтобы сами не кроссджойнили млрд на млрд. Или витрину пилишь под самые частые задачи.