Ну есть наркоманская идея конкатить relu(x) и relu(-x)
Сверху Китсуне написала, что из-за РеЛу, часто встречается, что есть две сверточные матрицы инверсивные по отношению друг к другу.
Relu дает 0 на половине возможных входов. Чтобы избежать этого можно ставить 2 релу. С + и -
Обсуждают сегодня