Смотрите, причем я сейчас только при финальную активацию! У вас

Question

Смотрите, причем я сейчас только при финальную активацию! У вас

сигмоида может принимать значения от 0 до 1. Если у вас при этом Y тоже весь в этом диапазоне - то может быть и OK. А если Y не ограничен? А если он может быть отрицательным? Я просто видел, как люди ставили сигмоид на выход для ненормированных Y, а потом сильно удивлялись.

0

22.11.2016

1 ответов

9 просмотров

Fedor Zhdanov · Accepted Answer

плюс еще нормировка должна быть более адекватной, чем [0,1]. Даже если выход пронормирован [0,1], не забывайте, что точное значение 0 и 1 не достижимо таким выходом никогда (сумма должна быть +/- inf), т.е. при граничных значениях вы "просите" сеть "сделать тут +/- inf" => веса в +/-inf => переобучение/отсутсвие сходимости. Для сети ответ должен быть теоретически достижим, т.е. стоит диапазон выхода сужать (например [0.3,0.7], точнее определять эмпирически, у каждой функции/задачи свои "адекватные рабочие диапазоны").

Похожие чаты

Смотрите, причем я сейчас только при финальную активацию! У вас

1 ответов

Похожие вопросы