Тут вроде есть несколько человек, кто использует spark operator, поделитесь,

Question

Тут вроде есть несколько человек, кто использует spark operator, поделитесь,

как вы храните код приложений? Хотя возможно этот вопрос актуален для любого варианта деплоя спарка.

В голову пришло пару вариантов:
1) собирать образ каждый раз, когда надо добавить новое
2) организовать доступ через какой-нибудь ресурс, например, volume подключить, где будет лежать код (или встречал в статейках на медиуме складывание кода в s3-бакет, который так же доступен из контейнера)

#hadoop #russian #software

0

15.11.2023

9 ответов

23 просмотра

Dmitry Zuev

собирать в образ имхо

0

15.11.2023

Nikita B

можно скурливать из нексуса последнюю версию джарника/петухон файла из гита

0

15.11.2023

Barys M

Собираем образ. Можно синкать код в готовый образ, но не нужно, это анти-паттерн. Деплои должны быть эфемерные и репродуцируемые.

0

15.11.2023

Niyazi Garagashli

Nikita B
можно скурливать из нексуса последнюю версию джарн...

дорого же

0

15.11.2023

Nikita B

Niyazi Garagashli
дорого же

Раз в час/день выкачать 20 Мб? Ну хз, образ по моему дороже пересобирать.

0

15.11.2023

Niyazi Garagashli

Nikita B
Раз в час/день выкачать 20 Мб? Ну хз, образ по мое...

образ дороже, я согласен, поэтому предложил другой вариант)

0

15.11.2023

Максим Мартынов

Niyazi Garagashli
образ дороже, я согласен, поэтому предложил другой...

.

0

15.11.2023

Андрей Жуков

Максим Мартынов
.

и оба тезиса от одного и того же человека :)

0

15.11.2023

Сиплый · Accepted Answer

Сиплый

Можно жарки / пу файлики маунтить просто волюмами, наверное У меня спарк исполняет в основном HQL, так что я в оркестраторе собираю hql ( подставляю день в шаблон, например ) а потом spark-sql -f hdfs:///tmp/blah/a.hql

0

15.11.2023

52 похожих чатов

Тут вроде есть несколько человек, кто использует spark operator, поделитесь,

9 ответов

Похожие вопросы