Всем салют! Видел ли кто нибудь статьи или блогпосты или туториалы

Question

Всем салют! Видел ли кто нибудь статьи или блогпосты или туториалы

по файнтюну Flan T5 или других инструкт-моделей?

Пытаюсь понять, как лучше при тюнинге добавлять in-context примеры и промпт. Имеет ли смысл делать промпт большим и вообще добавлять примеры, если есть тюнинг? Модель так и так данные + задачу выучивает, кажется, ну а вдруг. Или например сделать 10 разных промптов и с ними тюнить, и мб так будет полезно.

#nlp #programming #russian

0

04.08.2023

14 ответов

24 просмотра

See All Автор вопроса

datascience xc
Ничего добавлять не надо. Файнтюнится она как люба...

вопрос не в коде обучения, а в способах получить от одной модели больше на том же наборе данных за счёт того, что это не обычная seq2seq модель, а инструкт. Если бы "ничего доблавтяь не надо было", то p-tuning бы никогда не появился

0

04.08.2023

datascience xc

See All
вопрос не в коде обучения, а в способах получить о...

Ну во-первых файнтюнинг и p-tuning разные вещи. Во время p-tuninga мы не обучаем саму модель, а только подбираем промпт.

0

04.08.2023

Daniil

See All
вопрос не в коде обучения, а в способах получить о...

Так флан буст получает от мультитаска с инструкциями. Никто не гарантирует, что SFT с инструктом сработает лучше, чем он же без инструкта, если там всего одна задача.

0

04.08.2023

Daniil

See All
вопрос не в коде обучения, а в способах получить о...

Разнообразных данных надо, чем больше, тем лучше, тогда почти гарантированно будет буст качества

0

04.08.2023

See All Автор вопроса

datascience xc
Ну во-первых файнтюнинг и p-tuning разные вещи. Во...

разные вещи, и...что? Я использую один пример как демонстрацию того, что тюнинг "промпта" имеет смысл в контексте задачи

0

04.08.2023

See All Автор вопроса

Daniil
Так флан буст получает от мультитаска с инструкция...

Никто не гарантирует и обратного, и именно поэтому я задаю вопрос - экспериментировал ли кто-то? Даёт ли это буст? При каких условиях? А ещё в вопросе пть часть про in-context примеры, что точно отличает подход от sft

0

04.08.2023

See All Автор вопроса

Daniil
Разнообразных данных надо, чем больше, тем лучше, ...

Спасибо, я это понимаю. А по исходному вопросу будет какая то информация?

0

04.08.2023

datascience xc

Вы хоть знаете что такое p-tuning?

0

05.08.2023

datascience xc