весами из других трансформеров, но как-то частично, и смотрели, какие части насолько полезно так инициализировать?
При дистилляции одного берта в другой советовали в каком-то гайде инициализировать слои весами старого с пропусками слоев. Т.е. сжимаешь в два раза - берешь только нечётные слои.
Обсуждают сегодня