Какой промпт стоит использовать, чтобы модель выдавала более длинный, подробный

Question

Какой промпт стоит использовать, чтобы модель выдавала более длинный, подробный

ответ на заданный вопрос?

Пробовал:
Answer must be X words in length
Answer must be complex
Answer must be detailed as in the example (и подаю пример длинного ответа на другой вопрос)
Answer must contain 2 sentences

И это всё равно как-то не работает, почти всегда в ответ выдаёт до 5 слов где-то

#nlp #programming #russian

0

29.07.2023

14 ответов

18 просмотров

miteigi nemoto

Может лимит на новые токены?

0

29.07.2023

նիկիտա ki ta ~

температуру ещё попробуй повысить

0

29.07.2023

Alexander 🎤👑 Diesel Автор вопроса

Vladimir P
а какая модель-то? gpt вроде всегда подробный отве...

Llama 70B

0

29.07.2023

Alexander 🎤👑 Diesel Автор вопроса

miteigi nemoto
Может лимит на новые токены?

Не, не, я max_length большую выставляю, с этим нет проблем

0

29.07.2023

Alexander 🎤👑 Diesel Автор вопроса

նիկիտա ki ta ~
температуру ещё попробуй повысить

Попробую, у меня просто сейчас greedy search включён. Когда включал сэмплинг, то падало качество ответов.

0

29.07.2023

Vladimir P

Alexander 🎤👑 Diesel
Попробую, у меня просто сейчас greedy search включ...

попробуй ещё использовать параметры генерации saiga2, может получше будет https://huggingface.co/IlyaGusev/saiga2_13b_lora/blob/main/generation_config.json а так для сэмплинга надо обязательно подбирать параметры top_p, top_k и temperature

0

29.07.2023

Alexander 🎤👑 Diesel Автор вопроса

Vladimir P
попробуй ещё использовать параметры генерации saig...

Я просто подозреваю, что дело не в самих параметрах, а в промпте

0

29.07.2023

Vladimir P

Alexander 🎤👑 Diesel
Я просто подозреваю, что дело не в самих параметра...

проверял модель с другим промптом?

0

29.07.2023

Alexander 🎤👑 Diesel Автор вопроса

Vladimir P
проверял модель с другим промптом?

Ну в целом от промпта у неё сильно формат ответа меняется да. На каком-то вопросе у меня даже удалось с помощью того промпта с «complex answers» достать длинные ответы. Но на других вопросах не срабатывало.

0

29.07.2023

Vladimir P

Alexander 🎤👑 Diesel
Ну в целом от промпта у неё сильно формат ответа м...

а ещё может быть, что llama 2 просто не была обучена следовать инструкциям)

0

29.07.2023

datascience xc

Vladimir P
а ещё может быть, что llama 2 просто не была обуче...

Ванильная да, chat-версия нет

0

29.07.2023