170 похожих чатов

Всем салют! Видел ли кто нибудь статьи или блогпосты или туториалы

по файнтюну Flan T5 или других инструкт-моделей?

Пытаюсь понять, как лучше при тюнинге добавлять in-context примеры и промпт. Имеет ли смысл делать промпт большим и вообще добавлять примеры, если есть тюнинг? Модель так и так данные + задачу выучивает, кажется, ну а вдруг. Или например сделать 10 разных промптов и с ними тюнить, и мб так будет полезно.

14 ответов

20 просмотров

Ничего добавлять не надо. Файнтюнится она как любая Seq2Seq модель. Пример кода обучения: https://github.com/Den4ikAI/FRED-T5-Finetuning

See-All Автор вопроса
datascience xc
Ничего добавлять не надо. Файнтюнится она как люба...

вопрос не в коде обучения, а в способах получить от одной модели больше на том же наборе данных за счёт того, что это не обычная seq2seq модель, а инструкт. Если бы "ничего доблавтяь не надо было", то p-tuning бы никогда не появился

See All
вопрос не в коде обучения, а в способах получить о...

Ну во-первых файнтюнинг и p-tuning разные вещи. Во время p-tuninga мы не обучаем саму модель, а только подбираем промпт.

See All
вопрос не в коде обучения, а в способах получить о...

Так флан буст получает от мультитаска с инструкциями. Никто не гарантирует, что SFT с инструктом сработает лучше, чем он же без инструкта, если там всего одна задача.

See All
вопрос не в коде обучения, а в способах получить о...

Разнообразных данных надо, чем больше, тем лучше, тогда почти гарантированно будет буст качества

See-All Автор вопроса
datascience xc
Ну во-первых файнтюнинг и p-tuning разные вещи. Во...

разные вещи, и...что? Я использую один пример как демонстрацию того, что тюнинг "промпта" имеет смысл в контексте задачи

See-All Автор вопроса
Daniil
Так флан буст получает от мультитаска с инструкция...

Никто не гарантирует и обратного, и именно поэтому я задаю вопрос - экспериментировал ли кто-то? Даёт ли это буст? При каких условиях? А ещё в вопросе пть часть про in-context примеры, что точно отличает подход от sft

See-All Автор вопроса
Daniil
Разнообразных данных надо, чем больше, тем лучше, ...

Спасибо, я это понимаю. А по исходному вопросу будет какая то информация?

Вы хоть знаете что такое p-tuning?

See All
разные вещи, и...что? Я использую один пример как ...

Делайте датасет разнообразнее и больше. Будет вам счастье

See-All Автор вопроса

Мб все же есть у кого реальные кейсы по тюнингу flan с примерами?

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Мужики. привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных элементов...
Kraszx
2
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Всем привет! Кто пользуется DevExpress, подскажите пожалуйста, реализован ли в TcxGrid в новых версиях поиск по датам как в Экселе (ну т.е. не просто список чекбоксов со значе...
A Z
4
Карта сайта