MLM тюнинг улучшает качество, когда есть специфические данные, мб кто-то знает?
У меня на пару % повысился f1 когда потом тренировал на NER задачу mBert
А данные сильно от данных предтренерованной модели отличались?
Ну точно не Википедия по стилю, 70% новостные статьи моей тематики, 30% специфичные данные тематики
Обсуждают сегодня