я выяснил, что RidgeRegression на моих данных в силу мультиколлинеарности стабильно и "достоверно" опережает любые деревья, да и вообще другие методы. Кроме одного. Интересно, что Elastic Net, с почти нулевым коэф. при метрике L1 (т.е. это тот же Ridge должен получиться! но совсем =0 нельзя изз градиентных проблем) даёт ещё лучше чем Ridge. Обратил внимание, что Elastic Net в этом "практически ridge" режиме даёт все коэффициенты >0. И даже опцию positive=True, включать не нужно. К сожалению у Ridge её нет (такой опции). В общем ElasticNet чуток обыгрывает Ridge при настройках, теоретически эквивалентных (но в обоих normalize=True, если False то ElsticNet не обыгрывает Ridge). ...................... Отошёл от темы немного. Вообщем я нашёл некие модели, которые работают на данных. Далее я хотел бы их стакнуть (например ElasticNet и RF). Чем их объединять? XGBoost? Изначальные фичи добавлять на вход второго уровня? Как их отбирать? Ведь потому и приходится использовать Ridge\EldaticNet, что высока коллинераность - стоит ли добавлять такие токсичные. Thx
Изначальные не стоит добавлять
Обсуждают сегодня