Какие есть способы поиска гиперпараметров ? прогнал через HalvingRandomSearchCV по ее логу

Question

Big Data Science :: AI / Big Data / Machine Learning / MLOps

Какие есть способы поиска гиперпараметров ? прогнал через HalvingRandomSearchCV по ее логу

точность должна быть score=(train=0.992, test=0.927)
перепроверяю через реальное обучение и выходит 93% или test это и есть оценка ?

С ручным поиском гиперпараметров добился точности классификации в 96%, пытаюсь увеличить результат

#database #programming #russian #software

0

11.05.2023

9 ответов

59 просмотров

Morleys Jerkei Автор вопроса

Ivan
Тест это точность на неизвестных данных, а трейн —...

Про этот процесс я понимаю. Однако как выше сказал, добиваюсь точности в 96% ручным подбором гиперпараметров на тестовом датасете. Поэтому стало интересно почему так

0

11.05.2023

Ivan

Morleys Jerkei
Про этот процесс я понимаю. Однако как выше сказал...

Есть другие методы поиска. Grid search, random search. Попробуйте их. Можно еще попробовать проанализировать те гиперпараметры, что нашел алгоритм и те что вы сами нашли и понять, чем отличается и к чему приводит это отличие

0

11.05.2023

Morleys Jerkei Автор вопроса

Ivan
Есть другие методы поиска. Grid search, random sea...

Так и сделаю

0

11.05.2023

Григорий Lᵖ space

Оптуна. Генетические алгоритмы

0

12.05.2023

Yury Gorishniy

Ты в HalvingRandomSearchCV.fit подаешь тестовые данные?

0

12.05.2023

Yury Gorishniy

Ты в HalvingRandomSearchCV.fit подаешь тестовые данные? - если да, то так некорректно делать, тестовые данные нужно использовать только для финальной оценки и больше ни для чего (в частности тюнить гиперпараметры руками подглядывая в тест тоже нельзя) - если нет, то твой результат адекватный, потому что алгоритм оптимизирует cv-метрику на train, а ты руками подбираешь параметры глядя на test (чего опять же нельзя делать). то есть если ты руками будешь оптимизировать метрику на тех же данных, что и алгоритм, то скорее всего ты ему проиграешь)

0

12.05.2023

Morleys Jerkei Автор вопроса

Yury Gorishniy
Ты в HalvingRandomSearchCV.fit подаешь тестовые да...

Нет, не тестовые. Понял

0

12.05.2023

Morleys Jerkei Автор вопроса

Григорий Lᵖ space
Оптуна. Генетические алгоритмы

С генетическими алгоритмами еще не разобрался

0

12.05.2023

Ivan · Accepted Answer

Тест это точность на неизвестных данных, а трейн — точность на учебных. То что точность на трейне выше, это нормально. Точность на трейне показывает насколько модель помнит то что видела при обучении. Но нас интересует точность на тесте, потому что при эксплуатации модели она будет видеть не то на чем училась

215 похожих чатов

Какие есть способы поиска гиперпараметров ? прогнал через HalvingRandomSearchCV по ее логу

9 ответов

Похожие вопросы