Хочу поиграться с ruGPT-3 В общих чертах файнтюнинг был понятен, пока

Question

Хочу поиграться с ruGPT-3 В общих чертах файнтюнинг был понятен, пока

я не открыл датасет из официального примера (на скрине)

Что здесь собственно происходит? :)

Я ожидал формата для тренировки вроде:

<s>Тема: [subj_here] \n Сочинение: [text_about_subj_here]</s>

Почему в трейне каша (на мой взгляд), но оно должно работать?

#nlp #programming #russian

0

23.08.2021

3 ответов

35 просмотров

PuffOfSmoke Автор вопроса

Логично, но стало страшнее от предстоящих игрищ

0

23.08.2021

Artur

Обучение декодера происходит не так, как генерация текста после. 1) Текст бьётся на последовательности, которые помещаются в трансформер 2) Всю последовательность (кроме последнего токена), подают на вход в трансформер, для каждого токена маской закрывают все правые от него 3) Для каждого токена предсказывают следующий после него и сравнивают с оригиналом 4) Лосс

0

23.08.2021

Bogdan · Accepted Answer

Рискну предположить, что такой формат обучения сработает, потому что gpt не seq2seq модель, а генеративная, то есть за один свой “шаг” она берет исходное предложение и добавляет один токен. Потом как исходное берет предложение с добавленным токеном и добавляет ещё один токен. Так что предложения в датасете без префикса в виде “тема: <тема>”, а с префиксом “сочинение:” учат модель, что может быть в сочинении (например, какая структура), не основываясь на теме перед ней

170 похожих чатов

Хочу поиграться с ruGPT-3 В общих чертах файнтюнинг был понятен, пока

3 ответов

Похожие вопросы