Всем добрый вечер! Есть ли у кого-нибудь опыт transfer learning

Question

Natural Language Processing & Text Mining

Екатерина

Всем добрый вечер! Есть ли у кого-нибудь опыт transfer learning

BERT-a в адаптации на доменные тематики текстов?

#programming #russian

0

10.08.2021

10 ответов

24 просмотра

Екатерина Автор вопроса

Надо решить задачу классификации на текстах доменной тематики, перенять опыт scibert Насколько я поняла из анализа литературы, ru-Bert был получен трансфером, не обучением с нуля

0

10.08.2021

David Dalé

Да, диппавловский руберт делали из мультиязычного модификацией словаря и дообучение на русских корпусах. Я в этом году проделывал аналогичную работу с маленьким rubert-tiny.

0

10.08.2021

Екатерина Автор вопроса

Поскажите, пожалуйста, (я запуталась в туториалах и скриптах трансформеров) надо отдельно создать новый словарь, отдельно тренировать LM, а потом ещё модифицировать слои в Bert? Остались ли у Вас источники, которыми Вы пользовались?

0

10.08.2021

David Dalé

В простейшем случае можно ничего специально не модифицировать, а просто дообучить все веса нейронки на текстах из своего домена. Говорят, это само по себе на несколько пунктов качество растит. Если очень хочется, можно и словарь обновить, добавив побольше токенов. У меня для этого готовых скриптов нет, но можно взять блокнот из статьи про rubert-tiny (https://habr.com/ru/post/562064), где я делаю противоположную вещь - сокращаю словарь, выкидывая малоиспользуемые токены.

0

10.08.2021

Екатерина Автор вопроса

Я сейчас, возможно, глупо задам вопрос, но дообучить веса - это продолжить предобучение или файнтюнинг/настройка просто на текстах ?

0

10.08.2021

David Dalé

Я вообще не вижу разницы между файнтюнингом и продолжением предобучения) Этапов обучения может быть сколько угодно.

0

10.08.2021

Eduard Gorkh

Прикольно, думал, что его с нуля обучали. В таком случае, если есть потребность файнтюнить модель для рус+англ+франц, то лучше брать rubert, а не классический multilingual?

0

16.08.2021

David Dalé

Нет, не лучше. Из словаря rubert выкинули токены, редко используемые в русском языке, поэтому другие языки он описывает хуже. Я в своем rubert-tiny оставил много как русских, так и английских токенов, но с французским и другими языками будут проблемы.

0

16.08.2021

Eduard Gorkh

спасибо!

0

17.08.2021

Elena · Accepted Answer

Elena

привет! вы имеете в виду fine tuning на собственном датасете? или что-то другое?

0

10.08.2021

169 похожих чатов

Всем добрый вечер! Есть ли у кого-нибудь опыт transfer learning

10 ответов

Похожие вопросы