215 похожих чатов

Господа датасатанисты , вопрос : есть у меня небольшой датасет

(73 сэмпла), и тренерую я на нём что-то типа семантической сегментации.
Ежели делаю 8-fold кросс-валидацию ( короткие графики - on-line validation) получается очень большой разброс между фолдами. Потом сделал тренировку по всему датасету, без кросс-валидации и с большим количество эпох (зелёненький график). Какую модель лучше использовать : лучшую из кросс-валидационных фолдов или натренированную на всех данных?

32 ответов

62 просмотра

Обученную на всех данных.

я бы брал ту что на всех. Большая обобщающая способность ценой небольшого скора

главный вопрос, а для чего вам тут фолды?

мне порой кажется что Владимир нас проверяет своими шарадами

Vladimir-F Автор вопроса
Elmo
мне порой кажется что Владимир нас проверяет своим...

А вот я тут из рукава достал ещё 20 сэмплов не участвоваших в тренеровке/валидации. И на них прогнал проверку. Вот такой результат:

Vladimir-F Автор вопроса
Elmo
мне порой кажется что Владимир нас проверяет своим...

Во, а лучший результат получается если усреднять выходы наилучших трёх моделей - розовенький box

Vladimir-F Автор вопроса
Roman Nm
Агрегированная - это как именно?

делается сегментация 3я моделями, а потом среднее между ними

Vladimir-F Автор вопроса

A жёлтый - это агрегация по всем 8 моделям

Vladimir F
A жёлтый - это агрегация по всем 8 моделям

Тоже среднее? Но чего она такая плохая?!

Vladimir-F Автор вопроса
Roman Nm
И что такое каппа, кстати?

kappa - dice kappa ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient )

Vladimir F
A жёлтый - это агрегация по всем 8 моделям

А, блин, не заметил 5-й фолд, который совсем в 0 уходит

Vladimir-F Автор вопроса
Roman Nm
А что за задача?

это альтернатива IoU метрике, которую тут часто приводят

Vladimir F
это альтернатива IoU метрике, которую тут часто пр...

Хм. Не работал с ней, сложно понять сходу

Vladimir-F Автор вопроса

Данные шафлили?

Vladimir F
screenshot Во, а лучший результат получается если усреднять в...

ЗБЧ перестал работать См предпосылки требуемые для збч, может наведет на мысли

Попробуйте бутстрап

Vladimir-F Автор вопроса
Random Guy
ЗБЧ перестал работать См предпосылки требуемые для...

я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных

Vladimir F
я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных

Ну статистики не собираются Меньше 10 штук на модель, получается Попробуйте бутстрап

Vladimir-F Автор вопроса
Vladimir F
на модель ~ 7/8 * 73

Почему 7/8, если фолдов 8? Они пересекаются?

Тогда наверное стоит веса добавить к каждой модели, сложить По поводу трех лучших у меня что-то большие сомнения в стабильности такой штуки

Vladimir F
kappa - dice kappa ( https://en.wikipedia.org/wiki...

он вроде всегда просто dice score назывался

Vladimir F
screenshot Во, а лучший результат получается если усреднять в...

один хрен у вас all samples почти что на уровне с розовым в принципе, но да он чуть лучше

Elmo
он вроде всегда просто dice score назывался

Вот такой каппа еще есть https://en.m.wikipedia.org/wiki/Cohen%27s_kappa

Похожие вопросы

Обсуждают сегодня

а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Всем привет! Подскажите. Я написал приложение на Delphi 10.2 Tokyo под Windows 10. И передо мной стал вопрос о том чтобы сделать это приложение кроссплатформенным (под Linux и...
Дмитрий Завгородний
24
Привет всем. Подскажите где можно посмотреть, какая версия электрон, поддерживает версии windows? Некий changelog. Мне бы желательно, поддержку 7,8,10... latest, как понимаю и...
Anonym Squad
21
Портфолио: Зовут меня Александр, мне 36 лет. Город Пушкино. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github....
Magic
10
Не ну фпц - это уже просто троллинг какой-то. Элементарный код нельзя собрать. ЧЯДНТ? program Project1; {$mode delphi} uses SysUtils, Classes, Generics.Collections; var...
Peter
4
а где есть mysql cloud кроме яндекс-клауд?
Oleg Nosov
13
Есть ли смысл устраиваться на 1с ? Даст это плюс в дальнейшем трудоустройстве на php? Просто у меня в городе вакансий на пхп нету. Или лучше удаленно искать. Опыта работы нету...
Azamat
14
hi im a cs student. i need some advice from people who have enough experience in Embedded Software. I need to know whether this profession is suitable for me. I have watched s...
Sahand 🏔️
8
А кто-нибудь запихивал сборку перловых модулей/образов с perl приложениями в окружения без интернета (в специализированном CI/CD)? У меня сейчас есть ряд cpanfile, которые н...
Andrey Smirnov / 𝓪𝓵𝓵𝓽𝓮𝓻 /
14
Кстати а покупал кто-нибудь ЭЦП для подписи кода? А то у меня на некоторых компах и ОС иногда SmartScreen винды программу за вирус принимал. Если купить такую ЭЦП и подписыват...
Дмитрий Завгородний
15
Карта сайта