на low-resource языках?
какие есть best practices?
Это что за Берты, которые на GPU не влазят?
Был, лосс застрял гораздо выше чем без лоры
а как тюнили?
да Берты обычные
Дак они на любую гпу влезают
это да я по скорости просто итерироваться хотел
А кстати, какая у вас задача?
берт на low resource lang дотюнить чтобы с нуля обучать не так много данных а для мультилингуал метрики так себе если файнтюнить на downstream тасках
Обсуждают сегодня