Нужен совет. Обучаю модель на 500к данных. Классов поровну. Даже

Question

Нужен совет. Обучаю модель на 500к данных. Классов поровну. Даже

если на 40 процентах обучить, на оставшихся 60 аккураси будет 97 процентов. Проверяю в проде - вообще чушь предиктит. Пишу ещё данных, снова обучаю по ним, ситуация повторяется. Выглядит, будто в жизни есть ещё данные, по которым модель не обучалась, но как понять, что стоит ещё записать?

#database #programming #russian #software

0

17.01.2022

10 ответов

21 просмотр

Aleksei

может утечка данных? leaky predictors? утечка при нормализации?

0

17.01.2022

Aleksei

Aleksei
может утечка данных? leaky predictors? утечка при ...

https://www.atoti.io/what-is-data-leakage-and-how-to-mitigate-it/

0

17.01.2022

Misha Автор вопроса

Aleksei
может утечка данных? leaky predictors? утечка при ...

Спасибо, почитал. "The model might be somehow memorizing the feature-target relations instead of learning and generalizing." очень похоже на мой случай. Но даже не знаю, что может быть. Датасет я делил по-разному, данные не нормализовал, потому что одной размерности и xgboost к этому не чувствителен. Пропущенные значения просто удаляются и их меньше сотой процента..

0

17.01.2022

Ian Pilé

A обучающая выборка на продовые данные похожа?

0

17.01.2022

Misha Автор вопроса

Ian Pilé
A обучающая выборка на продовые данные похожа?

по идее должна быть. я лично записываю показания от другой нейронки с фронталки айфона. датчик глубины, углы головы\глаз. и либо я что-то упускаю в записи, либо у меня где-то утечка, которую я не могу найти

0

17.01.2022

Олег Юшин

Посмотри ещё features importance, если ли там аномально значимые фичи

0

17.01.2022

Nick

Олег Юшин
Посмотри ещё features importance, если ли там аном...

А о чем говорит аномальная значимость фичи?

0

17.01.2022

Олег Юшин