170 похожих чатов

Здравствуйте, может кто-то подсказать почему системный промт на ламе второй

не работает? Если лучше тьюнить то как это лучше сделать?

21 ответов

58 просмотров

На чат версии?

Azamat1K- Автор вопроса
Azamat1K
Да

Его возможно туда просто так впихнули. А вообще, что вы хотите чтобы модель делала?

Azamat1K- Автор вопроса

Отвечала на вопросы по данным

А зачем вам тогда нужен системный промпт?

Azamat1K- Автор вопроса
Azamat1K
Хотел часть данных прогрузить

Так данные не в системный промпт грузят же. Он сделан типа для рол плея

Azamat1K
Отвечала на вопросы по данным

У меня аналогичная задача. Вы какую лламу используете? Официальную или что-то другое? Можете дать ссылку на hugging 🤗?

Azamat1K- Автор вопроса
Alexander
У меня аналогичная задача. Вы какую лламу использу...

Я тестил https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGML и https://huggingface.co/IlyaGusev/saiga2_13b_gguf

Azamat1K- Автор вопроса

На вопросы отвечает но иногда странно

Azamat1K- Автор вопроса
Azamat1K
На вопросы отвечает но иногда странно

Возможно это из за квантиризации

Azamat1K
На вопросы отвечает но иногда странно

доп инъекции делали? что бы снизить галюцинации

Azamat1K
Нет

Попробуйте "мягкую силу" ) типа такого: Старайся ответить, используя контекст. Если контекст не содержит ответа, отвечай: у меня недостаточно информации для ответа.

Azamat1K
Я тестил https://huggingface.co/TheBloke/OpenBuddy...

не юзайте вы сайгу, пока ее на флане не затрейнили она будет хуже большинства других тюнов, а по русскому языку 13b лламы2 и так хорошо справляются

Sergey Bratchikov
не юзайте вы сайгу, пока ее на флане не затрейнили...

*на 7b вероятно сайга и лучше других для русского, не тестил

Sergey Bratchikov
не юзайте вы сайгу, пока ее на флане не затрейнили...

это какие лидерборды показывают, что сайга хуже большинства других тюнов? или что модели, обученные на флане, лучше других? и вы точно пробовали 13b лламу2 заставить отвечать на русском?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта