170 похожих чатов

Здравствуйте, может кто-то подсказать почему системный промт на ламе второй

не работает? Если лучше тьюнить то как это лучше сделать?

21 ответов

54 просмотра

На чат версии?

Azamat1K- Автор вопроса
Azamat1K
Да

Его возможно туда просто так впихнули. А вообще, что вы хотите чтобы модель делала?

Azamat1K- Автор вопроса

Отвечала на вопросы по данным

А зачем вам тогда нужен системный промпт?

Azamat1K- Автор вопроса
Azamat1K
Хотел часть данных прогрузить

Так данные не в системный промпт грузят же. Он сделан типа для рол плея

Azamat1K
Отвечала на вопросы по данным

У меня аналогичная задача. Вы какую лламу используете? Официальную или что-то другое? Можете дать ссылку на hugging 🤗?

Azamat1K- Автор вопроса
Alexander
У меня аналогичная задача. Вы какую лламу использу...

Я тестил https://huggingface.co/TheBloke/OpenBuddy-Llama2-13B-v11.1-GGML и https://huggingface.co/IlyaGusev/saiga2_13b_gguf

Azamat1K- Автор вопроса

На вопросы отвечает но иногда странно

Azamat1K- Автор вопроса
Azamat1K
На вопросы отвечает но иногда странно

Возможно это из за квантиризации

Azamat1K
На вопросы отвечает но иногда странно

доп инъекции делали? что бы снизить галюцинации

Azamat1K
Нет

Попробуйте "мягкую силу" ) типа такого: Старайся ответить, используя контекст. Если контекст не содержит ответа, отвечай: у меня недостаточно информации для ответа.

Azamat1K
Я тестил https://huggingface.co/TheBloke/OpenBuddy...

не юзайте вы сайгу, пока ее на флане не затрейнили она будет хуже большинства других тюнов, а по русскому языку 13b лламы2 и так хорошо справляются

Sergey Bratchikov
не юзайте вы сайгу, пока ее на флане не затрейнили...

*на 7b вероятно сайга и лучше других для русского, не тестил

Sergey Bratchikov
не юзайте вы сайгу, пока ее на флане не затрейнили...

это какие лидерборды показывают, что сайга хуже большинства других тюнов? или что модели, обученные на флане, лучше других? и вы точно пробовали 13b лламу2 заставить отвечать на русском?

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Подскажите пожалуйста, как в CustomDrawCell(Sender: TcxCustomGridTableView; ACanvas: TcxCanvas; AViewInfo: TcxGridTableDataCellViewInfo; var ADone: Boolean); получить наз...
A Z
7
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
1
Он в одиночку это дело запилил или была какая-то команда?
Aquinary
12
~ 2m21s  nix shell github:nixos/nixpkgs#stack ~  stack ghc -- --version error: … while calling the 'derivationStrict' builtin at /builtin/derivation.nix:...
Rebuild your mind.
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Карта сайта