215 похожих чатов

Господа датасатанисты , вопрос : есть у меня небольшой датасет

(73 сэмпла), и тренерую я на нём что-то типа семантической сегментации.
Ежели делаю 8-fold кросс-валидацию ( короткие графики - on-line validation) получается очень большой разброс между фолдами. Потом сделал тренировку по всему датасету, без кросс-валидации и с большим количество эпох (зелёненький график). Какую модель лучше использовать : лучшую из кросс-валидационных фолдов или натренированную на всех данных?

32 ответов

104 просмотра

Обученную на всех данных.

я бы брал ту что на всех. Большая обобщающая способность ценой небольшого скора

главный вопрос, а для чего вам тут фолды?

мне порой кажется что Владимир нас проверяет своими шарадами

Vladimir-F Автор вопроса
Elmo
мне порой кажется что Владимир нас проверяет своим...

А вот я тут из рукава достал ещё 20 сэмплов не участвоваших в тренеровке/валидации. И на них прогнал проверку. Вот такой результат:

Vladimir-F Автор вопроса
Elmo
мне порой кажется что Владимир нас проверяет своим...

Во, а лучший результат получается если усреднять выходы наилучших трёх моделей - розовенький box

Vladimir-F Автор вопроса
Roman Nm
Агрегированная - это как именно?

делается сегментация 3я моделями, а потом среднее между ними

Vladimir-F Автор вопроса

A жёлтый - это агрегация по всем 8 моделям

Vladimir F
A жёлтый - это агрегация по всем 8 моделям

Тоже среднее? Но чего она такая плохая?!

Vladimir-F Автор вопроса
Roman Nm
И что такое каппа, кстати?

kappa - dice kappa ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient )

Vladimir F
A жёлтый - это агрегация по всем 8 моделям

А, блин, не заметил 5-й фолд, который совсем в 0 уходит

Vladimir-F Автор вопроса
Roman Nm
А что за задача?

это альтернатива IoU метрике, которую тут часто приводят

Vladimir F
это альтернатива IoU метрике, которую тут часто пр...

Хм. Не работал с ней, сложно понять сходу

Данные шафлили?

Vladimir F
screenshot Во, а лучший результат получается если усреднять в...

ЗБЧ перестал работать См предпосылки требуемые для збч, может наведет на мысли

Попробуйте бутстрап

Vladimir-F Автор вопроса
Random Guy
ЗБЧ перестал работать См предпосылки требуемые для...

я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных

Vladimir F
я-ж сказал 73 сэмпла всего , плюс ещё 20 отдельных

Ну статистики не собираются Меньше 10 штук на модель, получается Попробуйте бутстрап

Vladimir F
на модель ~ 7/8 * 73

Почему 7/8, если фолдов 8? Они пересекаются?

Тогда наверное стоит веса добавить к каждой модели, сложить По поводу трех лучших у меня что-то большие сомнения в стабильности такой штуки

Vladimir F
kappa - dice kappa ( https://en.wikipedia.org/wiki...

он вроде всегда просто dice score назывался

Vladimir F
screenshot Во, а лучший результат получается если усреднять в...

один хрен у вас all samples почти что на уровне с розовым в принципе, но да он чуть лучше

Elmo
он вроде всегда просто dice score назывался

Вот такой каппа еще есть https://en.m.wikipedia.org/wiki/Cohen%27s_kappa

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Подскажите пожалуйста, как в CustomDrawCell(Sender: TcxCustomGridTableView; ACanvas: TcxCanvas; AViewInfo: TcxGridTableDataCellViewInfo; var ADone: Boolean); получить наз...
A Z
7
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
1
Он в одиночку это дело запилил или была какая-то команда?
Aquinary
12
~ 2m21s  nix shell github:nixos/nixpkgs#stack ~  stack ghc -- --version error: … while calling the 'derivationStrict' builtin at /builtin/derivation.nix:...
Rebuild your mind.
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Карта сайта