Я верно понимаю, что в hf (huggingface.co/docs/transformers/tasks/multiple_choice) при файнтюнинге

Question

Я верно понимаю, что в hf (huggingface.co/docs/transformers/tasks/multiple_choice) при файнтюнинге

модели на multiple choice - модель по факту обучается на бинарную классификацию, а не на мультилейбл? То есть на каждый пример выдаёт вероятность, из которого выбирается 1. Но при этом модель не знает во время обучения, что несколько ответов относятся к одному и тому же вопросу?

Я не нашёл там какого-то особого лосса, где имеется связь между несколькими примерами или какая-то зависимость от их количества

#nlp #programming #russian

0

08.09.2023

1 ответов

2 просмотра

᠌Vladimir Gurevich · Accepted Answer

ну да, там по идее все прекрасно написано в документации. делаются все комбинации предложений с ответами, дальше модель тюнится по сути на классификации насколько данный ответ (или некий template с ответом) коррелирует с изначальным предложением. можно код посмотреть https://github.com/huggingface/transformers/blob/main/src/transformers/models/bert/modeling_bert.py#L1620 там тоже все без затей

170 похожих чатов

Я верно понимаю, что в hf (huggingface.co/docs/transformers/tasks/multiple_choice) при файнтюнинге

1 ответов

Похожие вопросы