векторизуем отдельно сообщение- вопрос и ответ на него, конкатенируем эмбединги и отдаем на голову классификации соответствует ли ответ вопросу, использую несколько стилистик задачи) как думаете что лучше, для каждой задачи использовать отдельную голову или же вносить обозначение через спец токены в сам энкодер и использовать одну голову ?
А почему именно mt5?
у меня диалоги на нескольких языках, mT5 сильно лучше Фреда выходит
Обсуждают сегодня