minmaxscaler. Подаю эти данные на вход нейросети для обучения и тестирования. Что-то своим мелким мозгом не допру никак. Мин-макс берется из всей выборки. А если я потом буду предоставлять лишь один инпут, как мне эти данные нормализовывать, если минимум и максимум равны друг друге?
Нужно брать из обучающей части и применять к валидаци/тесту/новым данным
Да, но если максимум из обучающей может быть ниже, чем фактическое значение на тесте, все равно веса отработают как надо? Ну значение получится больше единицы по сути
А это уже covariate shift, добро пожаловать в реальный мир:)
поэтому minmaxscaler не лучшее решение
такое можно юзать только когда вы точно знаете какой у вас минимум и максимум будет на конкретной фиче, если оценка фильма от 1 до 5 то понятно что она не сможет выйти за пределы
А если безграничное как раз, типа цена акции, которая может сколь угодно высокой быть
ну я же говорю, есть разные скейлеры. Есть разные ML алгоритмы
А где и что я посоветовал? Или вы дальше не читали?
Обсуждают сегодня