Арип

Друзья, может быть есть среди вас, кто начал изучение Scala, и хотел бы проект в портфолио. Я был бы рад товарищу с которым написали бы одно приложение. Оно очень простое, но...

Слышали что-нибудь про скрытый от глаз второй этап записи dataframe в parquet? 40 минут датафрейм записывался в таблицу. В логах воркеров мог наблюдать процесс. В Stage висела...

Ребят, помогите. При явном указании keytab для авторизации в сервисах, при вызове команды: spark-submit --keytab "path_to_keytab" этот кейтаб копируется на локальную машину пр...

Вот у меня ещё один кейс есть. Может кто-нибудь наблюдал такой эффект. Типо когда Спарк сессия устаёт и начинает медленно работать. У меня есть приложение, оно работает приме...

Кто-нибудь работал со Slick? Нужен метод, который пытается вернуть из таблицы значение поля "phone" Как мне выйти из сложившейся ситуации и вернуть String? https://scastie.sca...

Привет, ребят! Я хочу написать скала приложение. А потом вызвать spark-submit с этим приложением в режиме кластера. Внутри этого скала приложения с помощью библиотеки sys.proc...

Доброе утро, ребята! Подключал ли кто-нибудь intellej idea к кластеру Hadoop ? Не могу ничего найти. Видел, как ребята PyCharm подключают к кластеру. Хочется такое же на idea...

При присвоении partitionCount При присвоении result Или при return result?

Или в конфиги ещё что-то нужно указать?

Доброе утро ☀️ Кто-нибудь использует в работе spark 3.3.0 и Scala 3. Как они сейчас, какие впечатления остаются?