170 похожих чатов

Какой промпт стоит использовать, чтобы модель выдавала более длинный, подробный

ответ на заданный вопрос?

Пробовал:
Answer must be X words in length
Answer must be complex
Answer must be detailed as in the example (и подаю пример длинного ответа на другой вопрос)
Answer must contain 2 sentences

И это всё равно как-то не работает, почти всегда в ответ выдаёт до 5 слов где-то

14 ответов

8 просмотров

а какая модель-то? gpt вроде всегда подробный ответ дает, если не попросить обратного

Может лимит на новые токены?

температуру ещё попробуй повысить

Alexander 🎤👑-Diesel Автор вопроса
miteigi nemoto
Может лимит на новые токены?

Не, не, я max_length большую выставляю, с этим нет проблем

Alexander 🎤👑-Diesel Автор вопроса
նիկիտա ki ta ~
температуру ещё попробуй повысить

Попробую, у меня просто сейчас greedy search включён. Когда включал сэмплинг, то падало качество ответов.

Alexander 🎤👑 Diesel
Попробую, у меня просто сейчас greedy search включ...

попробуй ещё использовать параметры генерации saiga2, может получше будет https://huggingface.co/IlyaGusev/saiga2_13b_lora/blob/main/generation_config.json а так для сэмплинга надо обязательно подбирать параметры top_p, top_k и temperature

Alexander 🎤👑-Diesel Автор вопроса
Vladimir P
попробуй ещё использовать параметры генерации saig...

Я просто подозреваю, что дело не в самих параметрах, а в промпте

Alexander 🎤👑-Diesel Автор вопроса
Vladimir P
проверял модель с другим промптом?

Ну в целом от промпта у неё сильно формат ответа меняется да. На каком-то вопросе у меня даже удалось с помощью того промпта с «complex answers» достать длинные ответы. Но на других вопросах не срабатывало.

Alexander 🎤👑 Diesel
Ну в целом от промпта у неё сильно формат ответа м...

а ещё может быть, что llama 2 просто не была обучена следовать инструкциям)

Alexander 🎤👑-Diesel Автор вопроса
Alexander 🎤👑-Diesel Автор вопроса

Тут помогло в нескольких местах (везде, где слово answer) прописать "provide complex answers". Стали действительно не однословные.

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
А что ты вообще делаешь ?
Yesgoter
13
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
18
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
Подскажите, почему в правом коде с1 дополняется до 8байт, а не до 4?
Sergey
9
Карта сайта