с последнего трансформер блока, а где нибудь из середины, для подачи в линейный слой? Интересно, как изменится точность
для классификации пробовал, со средних слоев получше, чем с последнего
Для классификации? Распознавание речи?
Нет, эмбеддинги с wav2vec2 предобученного брал для задачи классификации аудио.
Обсуждают сегодня