меня в том числе интересуют задачи энкодерного типа и как оказалось такой претрейн неплохо учит энкодер, потом еше его тюнил на средний эмбединг на различные селф супервайзд задачи кастомные и вышло неплохо
Не проще разделить на две модели задачу
Пртрейн денойзерами и потом отпиливание энкодера получилось лучше, чем энкодер учить на млм, ТК эта задача слишком простая в моем домене
Обсуждают сегодня