Коллеги, хочу посоветоваться с вами по поводу стакинга моделей. Итак

Question

Big Data Science :: AI / Big Data / Machine Learning / MLOps

Коллеги, хочу посоветоваться с вами по поводу стакинга моделей. Итак

я выяснил, что RidgeRegression на моих данных в силу мультиколлинеарности стабильно и "достоверно" опережает любые деревья, да и вообще другие методы. Кроме одного. Интересно, что Elastic Net, с почти нулевым коэф. при метрике L1 (т.е. это тот же Ridge должен получиться! но совсем =0 нельзя изз градиентных проблем) даёт ещё лучше чем Ridge. Обратил внимание, что Elastic Net в этом "практически ridge" режиме даёт все коэффициенты >0. И даже опцию positive=True, включать не нужно. К сожалению у Ridge её нет (такой опции). В общем ElasticNet чуток обыгрывает Ridge при настройках, теоретически эквивалентных (но в обоих normalize=True, если False то ElsticNet не обыгрывает Ridge). ...................... Отошёл от темы немного. Вообщем я нашёл некие модели, которые работают на данных. Далее я хотел бы их стакнуть (например ElasticNet и RF). Чем их объединять? XGBoost? Изначальные фичи добавлять на вход второго уровня? Как их отбирать? Ведь потому и приходится использовать Ridge\EldaticNet, что высока коллинераность - стоит ли добавлять такие токсичные. Thx

#database #programming #russian #software

0

25.10.2017

1 ответов

10 просмотров

Andrey · Accepted Answer

Andrey

Изначальные не стоит добавлять

0

25.10.2017

215 похожих чатов

Коллеги, хочу посоветоваться с вами по поводу стакинга моделей. Итак

1 ответов

Похожие вопросы