для Bernulli-Bernulli RBM на вход нужно подавать вектор из нулей и единичек, по верх линейного слоя делать сигмоид на обоих концах, а нейроны активировать только если результат применение сигмоидв больше случайного числа из отрезка [0,1)?
2. Если делать Gaussian-Bernulli, то на обратном проходе я убираю сигмоид, остальное оставляю как есть, да? Потому что активируются скрытые нейроны, а они остаются бинарными. Говорят еще данные нужно нормализовать..
3. Есть делать Gaussian-ReLU, то как нужно поменять активации? А то что-то все расходится...)
Ого. По хардкору археология. :) Зачем Больтцмана вспоминать, когда вроде автоэнкодеры завезли?
Обсуждают сегодня