я сам на часть аутпутов должен применять софтмакс получается? А как быть с backpropagate при минимизации ошибки тогда?
Вот у тебя два выхода, на каждый свой лосс. Усредняешь лоссы, суммируешь с каким нибудь коэффом и делаешь бэкпроп
Да, на голову классификации сам навешиваешь лосс классификации (какой бы ты его ни выбрал), на голову регрессии - лосс регрессии (тоже - какой бы ни выбрал). Выходы соответствующим образом активируешь (софтмакс или что-то что нравится - для выходов классификации, что-то подходящее - для выходов регрессии). Бэкпроп считается вне зависимости от типа ошибки, которую ты навесил на эти головы. Грубо: если нейрон по графу вычисления бэкпроп «видит» обе ошибки, - ну так они в его градиенты обе и посчитаются. Твоя задача - правильно взвесить лоссы. По умолчанию они обычно пойдут с весом 1 каждая. Ты можешь это изменить в коде.
Обсуждают сегодня