Коллеги, добрый день! изучаю книгу "Приручи данные с помощью..." -

Question

Коллеги, добрый день! изучаю книгу "Приручи данные с помощью..." -

Пульса и Эскобара. Там есть рекомендация делить запросы на Raw Data - подключение к источнику, Staging- Подготовка - здесь идут основные преобразования и работа и Запросы, которые уже загружаются в Таблицы или Модели данных. Вопрос: насколько это практично и эффективно, с точки зрения вашего опыта? Спасибо!

#cryptocurrency #powerquery #russian

0

03.04.2022

12 ответов

22 просмотра

Mikhail Muzykin

Если цель запроса - просто закинуть таблицу в модель - как бы и не требуется дробить Однако опыт показывает, что на базе одного источника может возникнуть необходимость дополнительных агрегаций, создание словарей, джоин к чему-нибудь и т п. А правило один источник=один запрос никто не отменял. Поэтому конечно правильный совет

0

03.04.2022

Tam Tam Автор вопроса

Mikhail Muzykin
Если цель запроса - просто закинуть таблицу в моде...

с одной стороны количество запросов увеличивается при таком разделении, но структура становится более понятной для последующей работы с запросами. Логично. на скорость влияет ли такое размножение? ( и параллельный вопрос: " на скорость влияет количество запросов или качество формул (способов реализации задач) в запросах?" )

0

03.04.2022

Maxim Zelensky

Tam Tam
с одной стороны количество запросов увеличивается ...

Ответ на второй вопрос очевиден - конечно влияет. Первый - нет (если не принимать во внимание второй вопрос)

0

03.04.2022

Mikhail Muzykin

Tam Tam
с одной стороны количество запросов увеличивается ...

На скорость не влияет, а вот качество формул... Ну как бы вроде весь чат об этом - от него зависит ВСЁ

0

03.04.2022

Василий Алибабаев

Maxim Zelensky
Ответ на второй вопрос очевиден - конечно влияет. ...

Опять же по мнению авторов существенно на скорость повлияет, если промежуточные запросы выгружать в модель (или на лист в Эксель). Если оставлять в режиме «только подключение», то само по себе количество последовательных запросов на скорость не влияет.

0

03.04.2022

Mikhail Muzykin

Василий Алибабаев
Опять же по мнению авторов существенно на скорость...

ну вы же не раскрыли в первом посте суть цимеса - разумеется самая медленная операция (запись) повлияет; есть стойкое ощущение, что для людей, выгружающих промежуточные запросы на лист, предусмотрено отдельное место в аду

0

03.04.2022

Сергей

Mikhail Muzykin
ну вы же не раскрыли в первом посте суть цимеса - ...

точно есть для тех, у кого там шапочки и пустые столбцы для расчетов)

0

03.04.2022

Александра

но ведь же быстрее ручного труда?) не повод трогать то, что и так работает)

0

03.04.2022

Mikhail Muzykin

Александра
но ведь же быстрее ручного труда?) не повод трогат...

пока это для личных целей и всё такое - ничего против не имею а вот когда в файле, которым пользуется не один десяток человек, нагружено/налеплено/перемотано синей изолентой и "не трогайте и не чихайте рядом пока оно работает" - по-моему это повод радикально пересмотреть подход

0

03.04.2022

Александра

Mikhail Muzykin
пока это для личных целей и всё такое - ничего про...

Согласна)

0

03.04.2022

Василий Алибабаев

Mikhail Muzykin
пока это для личных целей и всё такое - ничего про...

Вот вот… угнетает вопрос почему лыжи по асфальту не едут.

0

03.04.2022