(73 сэмпла), и тренерую я на нём что-то типа семантической сегментации.
Ежели делаю 8-fold кросс-валидацию ( короткие графики - on-line validation) получается очень большой разброс между фолдами. Потом сделал тренировку по всему датасету, без кросс-валидации и с большим количество эпох (зелёненький график). Какую модель лучше использовать : лучшую из кросс-валидационных фолдов или натренированную на всех данных?
Обученную на всех данных.
я бы брал ту что на всех. Большая обобщающая способность ценой небольшого скора
главный вопрос, а для чего вам тут фолды?
мне порой кажется что Владимир нас проверяет своими шарадами
А вот я тут из рукава достал ещё 20 сэмплов не участвоваших в тренеровке/валидации. И на них прогнал проверку. Вот такой результат:
Во, а лучший результат получается если усреднять выходы наилучших трёх моделей - розовенький box
Агрегированная - это как именно?
делается сегментация 3я моделями, а потом среднее между ними
Не, я имею в виду желтый бокс
И что такое каппа, кстати?
A жёлтый - это агрегация по всем 8 моделям
Тоже среднее? Но чего она такая плохая?!
kappa - dice kappa ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient )
А, блин, не заметил 5-й фолд, который совсем в 0 уходит
А что за задача?
это альтернатива IoU метрике, которую тут часто приводят
Хм. Не работал с ней, сложно понять сходу
IoU=kappa/(2-kappa)
Данные шафлили?
ЗБЧ перестал работать См предпосылки требуемые для збч, может наведет на мысли
Попробуйте бутстрап
я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных
Ну статистики не собираются Меньше 10 штук на модель, получается Попробуйте бутстрап
на модель ~ 7/8 * 73
Почему 7/8, если фолдов 8? Они пересекаются?
Ну а как к-фолд работает?
А тфу ты Попутал
Тогда наверное стоит веса добавить к каждой модели, сложить По поводу трех лучших у меня что-то большие сомнения в стабильности такой штуки
он вроде всегда просто dice score назывался
один хрен у вас all samples почти что на уровне с розовым в принципе, но да он чуть лучше
Вот такой каппа еще есть https://en.m.wikipedia.org/wiki/Cohen%27s_kappa
Обсуждают сегодня