Кто-нибудь мигрировал код с pyspark на Scala?
Читаются данные в спарк, которые потом меняются внешним процессом, а мой процесс падает, потому как таких файлов больше не существует. Как быть?
Ребята, санкции как то отразились на КХ? Клиенты хотят перехать на КХ, но переживают, что в один момент придётся опять мигрировать.
Вроде бы лёгкая задачка: Все колонки переименовать в camelCase. Есть какие-то наработки?
Вопрос по спарку: Есть долгоиграющий view, который падает, когда данные переписываются (почти также как и в индексации данных Hive over HDFS). Как можно зафиксировать датафре...
Почему логи spark history server могут расти? За вчера одна сессия до 8 гигов.
Подскажите как в pyspark сделать параллельную запись в s3, чтобы как на картинке? В скале это df.par.zipWithIndex.foreach(x=>x._1.write.parquet(s"/path/df_${x._2}"))
Вопрос по cloud formation: Можно ли как воткнуть findinmap внутрь !Sub '{{resolve:ssm:/${var1}/ !FindInMap ["RegionMap", !Ref "AWS::Region", "shortname"]/vpc/a/id}}'?
А у кого-то есть цифры по pipenv vs poetry для больших проектов? Насколько велик выигрыш в скорости?