Чем более данные за какой-то день похожи на обучающую выборку,

Question

Data Science Chat

Andrey

Чем более данные за какой-то день похожи на обучающую выборку,

тем лучше - прямой путь в неприятный новый мир боли
почему?

#database #programming #russian #software

0

12.05.2023

11 ответов

33 просмотра

Andrey Автор вопроса

я представляю, что модель отработает с предсказуемым качеством, без сюрпризов. Поток сознания про переобучать с горизонтом не распарсил.

0

12.05.2023

Ілія Малекі

Я недавно натренил модель распознавания движений и вне зависимости от параметров она давала точность 95+ процентов. Пока не додумался сделать тест достаточно отличающийся от трейна. Мой вывод (не знаю, какой ваш) - трейн должен быть максимально похож на тест, но тест должен должен быть достаточно разнородный, вплоть до того, чтобы быть похожим на (все!) данные в проде P.s. естественно, пример притянут за уши, других в последнее время не было

0

12.05.2023

Andrey Автор вопроса

Ілія Малекі
Я недавно натренил модель распознавания движений и...

в этом примере трейн негодный просто.

0

12.05.2023

Ілія Малекі

Andrey
в этом примере трейн негодный просто.

Вот

0

12.05.2023

Elmo

Andrey
в этом примере трейн негодный просто.

ПАНЕМАЮ

0

12.05.2023

Superhero Yakovlev

Andrey
я представляю, что модель отработает с предсказуем...

Имелось в виду, как выглядит работа дата сайнсера в день, когда баланс классов стал отличаться от прода в предположении "чем более данные за какой-то день похожи на обучающую выборку, тем лучше"

0

12.05.2023

Andrey Автор вопроса

можно получить ответ без встречных риторических вопросов и зафлуживания?

0

12.05.2023

Superhero Yakovlev

Andrey
можно получить ответ без встречных риторических во...

Исходя из твоих предыдущих сообщений ("нужно отлавливать смещение баланса классов на мониторинге", "нужно, чтобы трейн был репрезентативен продовому тесту"), я сделал предположение о том, что ты пойдёшь переобучать модель, подстроив баланс классов под новый, что делает тебя оператором моделей машинного обучения, а не дата сайнтистом Если же ты не побежишь перестраивать модель, то зачем вообще была телега про связь балансов на трейне и продовом тесте? Ну окей, будешь грустить сидеть значит, что так получилось В любом случае выходит боль

0

12.05.2023

Andrey Автор вопроса

Superhero Yakovlev
Исходя из твоих предыдущих сообщений ("нужно отлав...

Я писал про ситуацию, когда ничего не поменялось и прод 100% соответствует тесту и трейну. И хочу узнать, в чем ужас именно этой ситуации

0

12.05.2023

Superhero Yakovlev

Andrey
Я писал про ситуацию, когда ничего не поменялось и...

Ни в чём, очевидно

0

12.05.2023