У меня в BigQuery Выгружаются файлы раз в сутки. Из Аналитики и CRM. Я попробовал создать модель данных и выгрузил все файлы за 10 дней (20 файлов) и объединил их в редакторе PowerQuery прошел и сделал необходимые преобразования. Из за большого объема данных система очень сильно тормозит на десятки минут при каждой операции. Какую стратегию принять в обработке таблиц? Мне необходимо настроить сценарий, чтобы он мог выполняться за новые даты. И чтобы можно было смотреть результаты за разные периоды времени. Если я сделаю сценарий по одному дню, то как мне опубликовать отчет, чтобы можно было смотреть данные в разрезе за любой период?
Вы из bq на выходе можете получить готовые табл, а не в pq?
У меня туда загружаются раз в день с данными за вчера. Соединять их там? В новую таблицу? Как это сделать на автомате?
ETL сделать адекватный.
Обсуждают сегодня