нас абсолютно все находится в одной таблице log.events, данных 10тб, 26к столбцов
- для того чтобы доставать данные порой приходится использовать множество джойнов и кликхаусу становится очень плохо
Для решения вопроса думаем:
1. либо использовать мат вьюхи для наиболее часто используемых ивентов или
2. чз airflow перекладывать данные в новые таблицы
Вопрос:
- Какие решения могут быть в данном случае еще и какие плюсы минусы и плюсы разных подходов
- Если выбирать из двух решений - мат вьхи или физически создавать чз эйрфло таблицы - какой лучше? С мат вьюхами не все гладко - новые данные пишутся с потерями
"26к столбцов" - реально 26 тысяч столбцов в одной таблице??
Если у вас буквально все находится в одной таблице, то с чем вы тогда джойните ее?
Обсуждают сегодня