Коллеги у меня с одной стороны общий, но с другой

Question

Big Data Science :: AI / Big Data / Machine Learning / MLOps

Коллеги у меня с одной стороны общий, но с другой

- экзотический вопрос. Проблема: В фичи "проникает" output. Тот самый который нужно прогнозировать (моя задача - прогноза, а не классификации). Понятно, что есть проблема мультиколлинераности. Но как я понимаю, она обсуждается и решается в контексте мультиколлинераности фичей. Например для линейных моделей ridge regression (самостоятельно или в рамках elatsic net). А вот случайное попадание (подмешивание) output, т.е. того, что нужно прогнозировать, в фичи - не обсуждается. Нехарактерная проблема. В силу того, что объём данных для обработки у меня огромный (много-много моделей, всё строится автоматом, не в какой то REPL, а-ля Jupyter) и ручной отбор проделать невозможно возниает эта проблема. Какие варианты решения? В ситуации с деревьями например или NN. Считаю (в моём случае), что в худшем случае output подмешивается линейно к фичам, в лучшем - отдельной фичей с лёгким шумом (последний случай - простой, я его решаю предельно тупо). Возможно я что то упускаю из вида банальное. Любые мысли хороши. Thx

#database #programming #russian #software

0

18.10.2017

2 ответов

19 просмотров

Drino

А в реальном мире такой "проблемы" нет? Если нет - добавить к фичам немного шума, убрать самые близкие фичи, выделять test set ASAP и желательно из другого источника. А вообще - в чём причина такого "проникновения"?

0

18.10.2017

Skeptical Lynx · Accepted Answer

Skeptical Lynx

так а что здесь нехарактерного? типичная проблема

0

18.10.2017

215 похожих чатов

Коллеги у меня с одной стороны общий, но с другой

2 ответов

Похожие вопросы