Добрый день! Коллеги, пытаюсь обучить Tacotron2 на русскоязычном датасете(85K итераций), но

Question

Добрый день! Коллеги, пытаюсь обучить Tacotron2 на русскоязычном датасете(85K итераций), но

пока безуспешно.
При обучении на англ. датасете LJSpeech-1.1 проблем не возникает и уже к 25К итерации нормально обучается.
Пробовал учить как без транслитерации(по буквам русского алфавита и с базовой предобработкой), так и с транслитерацией - всё одно плохо.
Подскажите, пож-та, куда копать?

Логи модели с транслитерацией(на 2000 шаге начинается дичь, причину которой я и пытаюсь установить):
https://wandb.ai/ruslantau/uncategorized/reports/Tacotron2-with-transliteration-rus---VmlldzoxNTUwMjU2?accessToken=s2q32lnkal88yowdwrsebph8h68mk7hkkt080h7s8aw9hpxv1xuhffpo0drea8zb
Репо используемой модели:
https://github.com/BogiHsu/Tacotron2-PyTorch

#it #russian #speech-recognition

0

11.02.2022