Подскажите, мне для экспериментов нужна новая версия spark. Локальный не

интересен, сейас все делаю в доккере, создан кластер hadoop, с yarn hdfs и все нужно инфрой, все это живет в 64 гб. В принципе хватает, но есть желание переехать в облака, у какого провайлеоа моднл получить всегда свежие версии spark ? Или имеет смысл арендовать виритуалки ?

10 ответов

9 просмотров

Накликай к8с менеджед в облаке и там любой спарк гоняй

Дмитрий- Автор вопроса

Кубестл - это "своя инфра"? 🤔

Дмитрий- Автор вопроса
Сиплый
Кубестл - это "своя инфра"? 🤔

В кубее поднять хадуп и все все все ...

Дмитрий
В кубее поднять хадуп и все все все ...

А, не. Ходуп можно в aws emr. Но именно хдфс я в таком режиме не пользовался там. Юзал емр исключительно для спарка

Манагед кубер с виртуалками на выбор

Дмитрий- Автор вопроса
Евгений Глотов
Хадуп нинужон, S3 за него

Тоже тема. Наверно так и слелаю, прокачаюсь в спарк он кубер и с внешним шафл сервисом.

Дмитрий
Тоже тема. Наверно так и слелаю, прокачаюсь в спар...

Можно и без него, мы чёт забили поднимать, так полтора года на шафлтрекере и живём

Дмитрий- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
Привет, сталкивался кто с такой ситуацией? У меня есть модальное окно Bootstrap, в нем кнопка закрытия: <button type="button" class="btn-close" data-bs-dismiss="modal" aria-...
Виталий
3
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Какой число последнее будет, если сказали от 1 до 10 взять все?
Misha Mikhail
5
А у тебя есть информация сколько сейчас использует твой бот?
Artem Stormageddon
4
Окрошка! На квасе или кефире или на пиве?!
Akcium Сергей
4
Забавно, но для тебя "этот" = "следующий" т.е этот год для тебя какой?
Magic
3
Создан плагин через artisan, миграций не будет, как его активировать в админке?
Point 111
2
Кто-то юзал insomnia? Удобная штука ужас
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
3
Карта сайта