Посмотрите первую статью выше. Нелинейная - это экспоненциальная
Если она линейная тогда все твои слои могут быть представлены одной линейной комбинацией входного вектора
Гм, ну имеет смысл. Иначе, проще сделать просто линейную регрессию или какой-то еще "неглубокий" метод. А так-то можете и с линейными активациями попробовать и сравнить.
Кстати, книжка - Neural networks and learning machines, Simon Haykin
Обсуждают сегодня