Когда оптимизируешь гиперпараметры с кросс валидацией, надо обращать внимание только

Question

Когда оптимизируешь гиперпараметры с кросс валидацией, надо обращать внимание только

на test (val) результат, или также на train)? Типо, есть ли разница какая большая разница между test и train? Есть ли разница, если train относительно низкая (или высокая) по сравнению с test? Или все, что имеет значение - хороший средний test (val)?

#database #programming #russian #software

0

12.07.2023

12 ответов

32 просмотра

Mashiron Автор вопроса

Григорий Lᵖ space
Желательно одинакого

А если автоматизировать подбор, то как можно было бы это в единую метрику объединить? test-|test-train|, или это слишком сильное пенальти? И это одинаково плохо, когда test>train, как и test<train, или только test<train плохо, а test>train нормально?

0

12.07.2023

Григорий Lᵖ space

Никто так не делает

0

12.07.2023

Mashiron Автор вопроса

Григорий Lᵖ space
Никто так не делает

Тогда как правильно делать? Делают, насколько я видел, просто игнорируя разницу, и смотря только на средний тест (полностью игнорируя train)

0

12.07.2023

Григорий Lᵖ space

Mashiron
Тогда как правильно делать? Делают, насколько я ви...

У тревора написно

0

12.07.2023

Mashiron Автор вопроса

Григорий Lᵖ space
У тревора написно

Тревор это..? 😅 Ссылочку можно?

0

12.07.2023

Dmitry Abramov

Mashiron
Тогда как правильно делать? Делают, насколько я ви...

Можно посмотреть по всем разделениям, если в каком-то блоке слишком большая разница от среднего значения по всем блокам - надо посмотреть, что с данными Если на трейне слишком высокая по сравнению с валидационной выборкой - модель переобучена, если валидационная выборка показывает сильно лучшие результаты по сравнению с тренировочной - у вас с большой вероятностью произошло пересечение выборок

0

12.07.2023

Mashiron Автор вопроса

Dmitry Abramov
Можно посмотреть по всем разделениям, если в каком...

Это всё хорошо, но не отвечает на вопрос, можно ли объединить все в одну объективную метрику, ибо что считается "слишком большая разница" очень размытое понятие, и что в итоге с этим делать - тоже непонятно. Имхо лучше немного переобученная модель которая лучше работает на тесте, чем не переобученная модель которая хуже работает на тесте, но мнения разнятся и никакой полезной теории по теме я не нашел. А также.. что значит "пересечение выборок"?

0

12.07.2023

Dmitry Abramov

Mashiron
Это всё хорошо, но не отвечает на вопрос, можно ли...

Под пересечением выборок подразумевалось, что в базовом случае результат лучший, чем на трейне можно получить в случае, если данные пересекаются(в трейне и тесте одни и те же образцы)

0

12.07.2023

Mashiron Автор вопроса

Dmitry Abramov
Под пересечением выборок подразумевалось, что в ба...

Это исключено в моем случае

0

12.07.2023

Григорий Lᵖ space

Mashiron
Это всё хорошо, но не отвечает на вопрос, можно ли...

читайте тревора

0

12.07.2023