Всем привет, а в области аудио есть какие-то подходы к

предобучению моделей на неразмеченных данных в стиле берта? кроме банальных автокодировщиков (обучил что-то типа AE на спектрограммах с масками - результаты так себе)

2 ответов

28 просмотров

Facebook не так давно выкладывал сетку с обучением почти без учителя https://habr.com/ru/news/t/558784/

Этот метод далёк от BERTоподбного обучения, но на данный момент - единственный unsupervised.

Похожие вопросы

Карта сайта