Коллеги, подскажите насчёт применимости Domain Adaptation через MLM для task-specific

Question

Natural Language Processing

Max Ermakov

Коллеги, подскажите насчёт применимости Domain Adaptation через MLM для task-specific

моделей с HF? Есть смысл или модель основной навык забывать начнёт?

#nlp #programming #russian

0

06.06.2022

6 ответов

8 просмотров

Max Ermakov Автор вопроса

E E
А как предполагается это делать?

Ну, у нас модель из двух кусков - энкодер, который зачастую учили на MLM, и какая-то task-specific надстройка. Я думаю можно было бы на время переставить энкодер в MLM, потюнить на новых данных, а затем вернуть task-specific часть. Вот интересуюсь, какие подводные камни.

0

06.06.2022

E E

Выглядит как один из возможных подходов. Я бы еще пробовал сначала доменно адаптировать как mlm, затем обучать голову на нужную задачу (Если данные из другого домена, возможно, стоит фризить все или часть слоев энкодера, чтобы назад не деадаптировался он.

0

06.06.2022

Max Ermakov Автор вопроса

E E
Выглядит как один из возможных подходов. Я бы еще ...

О, вот про фризить я вообще не подумал, ибо опыта такого небыло. Моя хитрая задумка вообще - поожидать улучшения качества не дообучая на своих данных под задачу (разметки нет) 😏

0

06.06.2022

E E

Так данных для основной задачи нет вроде как..

0

06.06.2022

David Dalé

E E
Так данных для основной задачи нет вроде как..

Ну учили же task-specific голову на чём-то?

0

06.06.2022