не работает? Если лучше тьюнить то как это лучше сделать?
На чат версии?
Его возможно туда просто так впихнули. А вообще, что вы хотите чтобы модель делала?
Отвечала на вопросы по данным
А зачем вам тогда нужен системный промпт?
Хотел часть данных прогрузить
Так данные не в системный промпт грузят же. Он сделан типа для рол плея
У меня аналогичная задача. Вы какую лламу используете? Официальную или что-то другое? Можете дать ссылку на hugging 🤗?
Я тестил https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGML и https://huggingface.co/IlyaGusev/saiga2_13b_gguf
На вопросы отвечает но иногда странно
Возможно это из за квантиризации
доп инъекции делали? что бы снизить галюцинации
Попробуйте "мягкую силу" ) типа такого: Старайся ответить, используя контекст. Если контекст не содержит ответа, отвечай: у меня недостаточно информации для ответа.
Спасибо за совет!
не юзайте вы сайгу, пока ее на флане не затрейнили она будет хуже большинства других тюнов, а по русскому языку 13b лламы2 и так хорошо справляются
Викуна лучше сайги
*на 7b вероятно сайга и лучше других для русского, не тестил
это какие лидерборды показывают, что сайга хуже большинства других тюнов? или что модели, обученные на флане, лучше других? и вы точно пробовали 13b лламу2 заставить отвечать на русском?
а вот тут - да
Обсуждают сегодня