table has a density of approximately 70-80% (http://yann.lecun.com/exdb/publis/pdf/sermanet-ijcnn-11.pdf), он говорит про дропаут?
Скорее всего матрица весов, умножается каждый раз при перемножении с входным тензором на маску весов, в которой 20-30% - нули, но маска постоянна
Обсуждают сегодня