215 похожих чатов

Господа датасатанисты , вопрос : есть у меня небольшой датасет

(73 сэмпла), и тренерую я на нём что-то типа семантической сегментации.
Ежели делаю 8-fold кросс-валидацию ( короткие графики - on-line validation) получается очень большой разброс между фолдами. Потом сделал тренировку по всему датасету, без кросс-валидации и с большим количество эпох (зелёненький график). Какую модель лучше использовать : лучшую из кросс-валидационных фолдов или натренированную на всех данных?

32 ответов

109 просмотров

Обученную на всех данных.

я бы брал ту что на всех. Большая обобщающая способность ценой небольшого скора

главный вопрос, а для чего вам тут фолды?

мне порой кажется что Владимир нас проверяет своими шарадами

Vladimir-F Автор вопроса
Elmo
мне порой кажется что Владимир нас проверяет своим...

А вот я тут из рукава достал ещё 20 сэмплов не участвоваших в тренеровке/валидации. И на них прогнал проверку. Вот такой результат:

Vladimir-F Автор вопроса
Elmo
мне порой кажется что Владимир нас проверяет своим...

Во, а лучший результат получается если усреднять выходы наилучших трёх моделей - розовенький box

Vladimir-F Автор вопроса
Roman Nm
Агрегированная - это как именно?

делается сегментация 3я моделями, а потом среднее между ними

Vladimir-F Автор вопроса

A жёлтый - это агрегация по всем 8 моделям

Vladimir F
A жёлтый - это агрегация по всем 8 моделям

Тоже среднее? Но чего она такая плохая?!

Vladimir-F Автор вопроса
Roman Nm
И что такое каппа, кстати?

kappa - dice kappa ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient )

Vladimir F
A жёлтый - это агрегация по всем 8 моделям

А, блин, не заметил 5-й фолд, который совсем в 0 уходит

Vladimir-F Автор вопроса
Roman Nm
А что за задача?

это альтернатива IoU метрике, которую тут часто приводят

Vladimir F
это альтернатива IoU метрике, которую тут часто пр...

Хм. Не работал с ней, сложно понять сходу

Данные шафлили?

Vladimir F
screenshot Во, а лучший результат получается если усреднять в...

ЗБЧ перестал работать См предпосылки требуемые для збч, может наведет на мысли

Попробуйте бутстрап

Vladimir-F Автор вопроса
Random Guy
ЗБЧ перестал работать См предпосылки требуемые для...

я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных

Vladimir F
я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных

Ну статистики не собираются Меньше 10 штук на модель, получается Попробуйте бутстрап

Vladimir F
на модель ~ 7/8 * 73

Почему 7/8, если фолдов 8? Они пересекаются?

Тогда наверное стоит веса добавить к каждой модели, сложить По поводу трех лучших у меня что-то большие сомнения в стабильности такой штуки

Vladimir F
kappa - dice kappa ( https://en.wikipedia.org/wiki...

он вроде всегда просто dice score назывался

Vladimir F
screenshot Во, а лучший результат получается если усреднять в...

один хрен у вас all samples почти что на уровне с розовым в принципе, но да он чуть лучше

Elmo
он вроде всегда просто dice score назывался

Вот такой каппа еще есть https://en.m.wikipedia.org/wiki/Cohen%27s_kappa

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта