А можешь плз подсказать как логлевел изменить? в проекте нет

Question

Data Engineers

@iamelyaz

А можешь плз подсказать как логлевел изменить? в проекте нет

.conf файла или log4j.properties, где был бы засетаплен уровень логирования

#hadoop #russian #software

0

10.02.2022

5 ответов

17 просмотров

@iamelyaz Автор вопроса

Евгений Глотов
spark.sparkContext.setLogLevel("WARN")

спасибо! сейчас середина-на половину получилась: желаемые принты есть, но и при этом инфо логи тоже остались: 22/02/10 23:40:43 INFO SparkContext: Running Spark version 3.0.1 22/02/10 23:40:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 22/02/10 23:40:44 INFO ResourceUtils: ============================================================== 22/02/10 23:40:44 INFO ResourceUtils: Resources for spark.driver:

0

10.02.2022

Евгений Глотов

Самое начало этой командой никак не убрать, это логи создания сессии, до того, как вызывается сетлоглевел

0

10.02.2022

@iamelyaz Автор вопроса

Евгений Глотов
Самое начало этой командой никак не убрать, это ло...

понял, спасибо большое!)

0

10.02.2022

@iamelyaz Автор вопроса