170 похожих чатов

Всем салют! Видел ли кто нибудь статьи или блогпосты или туториалы

по файнтюну Flan T5 или других инструкт-моделей?

Пытаюсь понять, как лучше при тюнинге добавлять in-context примеры и промпт. Имеет ли смысл делать промпт большим и вообще добавлять примеры, если есть тюнинг? Модель так и так данные + задачу выучивает, кажется, ну а вдруг. Или например сделать 10 разных промптов и с ними тюнить, и мб так будет полезно.

14 ответов

21 просмотр

Ничего добавлять не надо. Файнтюнится она как любая Seq2Seq модель. Пример кода обучения: https://github.com/Den4ikAI/FRED-T5-Finetuning

See-All Автор вопроса
datascience xc
Ничего добавлять не надо. Файнтюнится она как люба...

вопрос не в коде обучения, а в способах получить от одной модели больше на том же наборе данных за счёт того, что это не обычная seq2seq модель, а инструкт. Если бы "ничего доблавтяь не надо было", то p-tuning бы никогда не появился

See All
вопрос не в коде обучения, а в способах получить о...

Ну во-первых файнтюнинг и p-tuning разные вещи. Во время p-tuninga мы не обучаем саму модель, а только подбираем промпт.

See All
вопрос не в коде обучения, а в способах получить о...

Так флан буст получает от мультитаска с инструкциями. Никто не гарантирует, что SFT с инструктом сработает лучше, чем он же без инструкта, если там всего одна задача.

See All
вопрос не в коде обучения, а в способах получить о...

Разнообразных данных надо, чем больше, тем лучше, тогда почти гарантированно будет буст качества

See-All Автор вопроса
datascience xc
Ну во-первых файнтюнинг и p-tuning разные вещи. Во...

разные вещи, и...что? Я использую один пример как демонстрацию того, что тюнинг "промпта" имеет смысл в контексте задачи

See-All Автор вопроса
Daniil
Так флан буст получает от мультитаска с инструкция...

Никто не гарантирует и обратного, и именно поэтому я задаю вопрос - экспериментировал ли кто-то? Даёт ли это буст? При каких условиях? А ещё в вопросе пть часть про in-context примеры, что точно отличает подход от sft

See-All Автор вопроса
Daniil
Разнообразных данных надо, чем больше, тем лучше, ...

Спасибо, я это понимаю. А по исходному вопросу будет какая то информация?

Вы хоть знаете что такое p-tuning?

See All
разные вещи, и...что? Я использую один пример как ...

Делайте датасет разнообразнее и больше. Будет вам счастье

See-All Автор вопроса

Мб все же есть у кого реальные кейсы по тюнингу flan с примерами?

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Ребят в СИ можно реализовать ООП?
Николай
33
Подскажите пожалуйста, как в CustomDrawCell(Sender: TcxCustomGridTableView; ACanvas: TcxCanvas; AViewInfo: TcxGridTableDataCellViewInfo; var ADone: Boolean); получить наз...
A Z
7
Карта сайта