регуляризации xgboost? они в xgboost lambda и alpha называются
Можно
на этапе установки движка это делается set_engine("xgboost", lambda = 1)
для тюнинга будет лексика типа set_engine("xgboost", lambda = tune()), но такая конфигурация не работает т.к. по факту параметр lambda просто прокидывается внутрь оригинальной функции xgboost, которая не поддерживает tune()
Попробовал и действительно, через tune() lambda не прокидывается. Я lambda явно указывал, как показал выше, и вручную увеличивал до приемлемого результата. Я так понимаю, что через tune(), можно тюнить только то, что сейчас в справке приведено: https://parsnip.tidymodels.org/reference/details_boost_tree_xgboost.html Остальные гиперпараметры, судя по всему нужно указывать явно.
Ппц, юзайте mlr3, там все гиперпараметры можно тюнить. Я в шоке от такого дизайнерского решения
да, похоже так и есть
Я спросил у разработчиков tidymodels, как тюнить остальные гиперпараметры в xgboost (в частности lambda) и мне ответили: https://github.com/tidymodels/tune/issues/398 Если коротко — предложили решение (спойлер: костыль), и предложили перенести запрос на фичу в общий стек запросов. Если за фичу будут голосовать, то в порядке приоретизации её реализуют.
ну там в принципе в ответе есть код, который позволяет самому добавить параметры оптимизации .. просто почему-то в документации они не упомянули об этом
Обсуждают сегодня