Ребята, теоретический вопрос: я тут услышал про инструмент оркестрации Airflow.

Question

Ребята, теоретический вопрос: я тут услышал про инструмент оркестрации Airflow.

Он поддерживает исполнение python-скриптов. Но R не поддерживает.

Но ведь можно же запустить R-код внутри python скрипта? Например я хочу выгружать данные из базы, немного преобразовывать и загружать в другую базу. Такая затея может иметь право на жизнь?

#programming #r #russian

0

25.09.2021

12 ответов

28 просмотров

Vladimir Volokhonsky

А зачем тогда Airflow? https://github.com/chriscardillo/gusty вот тут какая-то приблуда к нему, облегчающая типа запуск R markdown. Но я никогда не пользовался ничем таким, я еще и в кубернетес пока не влез...

0

25.09.2021

Ed P

А для чего вы airflow хотите использовать? ЧТо-то типа ETL? Я в чате некоторое время назад упоминал про Low code тул n8n. Он позволяет в т.ч. запускать исполняемые команды на сервере. Если у вас, допустим, есть кастомная сборка докера вместе с n8n и R, то мне кажется, что запустить код на R будет достаточно просто.

0

25.09.2021

Дмитрий Володин

Как тоже обсуждалось, чем крон не устраивает?)) если тупо по расписанию, то вся фишка эйрфлоу в гуи и ретраях. Во всëм остальном тот же крон)) Да, есть ещё нотификации и прочее, но отталкивайтесь от задачи))

0

25.09.2021

Владимир Попукайло

Дмитрий Володин
Как тоже обсуждалось, чем крон не устраивает?)) ес...

ну, Airflow позволяет не просто задачи по расписанию запускать, но и организовывать из них графы + сенсоры, позволяют запускать задачи по событию, а не времени + хранение коннекшенов для аналитиков без раздачи доступов и т.д. Для data engineering очень удобно

0

25.09.2021

Владимир Попукайло

Ed P
А для чего вы airflow хотите использовать? ЧТо-то ...

Airflow - не совсем про ETL, а больше про публикацию и расписание. Это такой крон на стероидах.

0

25.09.2021

Дмитрий Володин

Владимир Попукайло
ну, Airflow позволяет не просто задачи по расписан...

Я знаю, у нас у самих в итоге на проекте эйрфлоу. Много всего удобного, с теми же подключениями, логами. Да даже тупо по имейлу разослать репорт какой-нибудь. Но для задачи "запустить процесс по расписанию" он слишком тяжëлый для подъëма и поддержания. То шедулер отвалится, то воркер

0

25.09.2021

Владимир Попукайло

Дмитрий Володин
Я знаю, у нас у самих в итоге на проекте эйрфлоу. ...

Это да. А вы его сами поддерживаете? У нас просто MWAA и там больше проблем с доступами внутри Амазона)

0

25.09.2021

Дмитрий Володин

Владимир Попукайло
Это да. А вы его сами поддерживаете? У нас просто ...

Девопс есть к счастью. Просто в тесной связке, постоянно слышу о всех проблемах))

0

25.09.2021

Ed P

Владимир Попукайло
Airflow - не совсем про ETL, а больше про публикац...

Ну просто n8n в такой формулировке тоже можно юзать. И там прямо из коробки можно серверные команды запускать, имхо это сильно упрощает доступ ко всяким нестандартным штукам типа R

0

25.09.2021

Байкулов Антон Автор вопроса

Ed P
А для чего вы airflow хотите использовать? ЧТо-то ...

Ну инструмент для оркестрации у всех в конторе должен быть один.

0

25.09.2021

Ilya Shutov

Дмитрий Володин
Я знаю, у нас у самих в итоге на проекте эйрфлоу. ...

У нас andible awx + docker в типовом HLD замыкает всю обратную связь. Во внешней системе что-либо сделать или отчёт на rmarkdown запустить — без разницы

0

25.09.2021

Ed P · Accepted Answer

Ed P

https://medium.com/bbc-data-science/deploying-r-models-in-production-with-apache-airflow-and-aws-batch-9182b0c8ed83 Это как-то хитро можно сделать

0

25.09.2021

169 похожих чатов

Ребята, теоретический вопрос: я тут услышал про инструмент оркестрации Airflow.

12 ответов

Похожие вопросы