в stdout не мог найти, то переписал все на println() - это ок или не ок практика?
По-умолчанию уровень логирования выставлен в WARNING, если я правильно помню
logger.info в спарке?)
Ну, если в драйвере через спарк-сабмит, то да)
ну, в тестах, чтоб я видел принты от println, то мне нужно было такой хак делать: val sparkSession: SparkSession = SparkSessionCreatorForTest.createSparkSession(testConfig) sparkSession.sparkContext.setLogLevel("WARN")
Обсуждают сегодня