Верно ли, что я должен вначале скачать лламу, смерджить веса адаптеров, сохранить модель, а потом только уже создать новые адаптеры с помощью LoRA и обучать уже их?
Также, есть ли какие-то ещё хорошие аналоги для русского языка?
openchat 3.5
А насчёт процесса тюнинга, я верно описал?
Возьмите чистую мистраль и всё. Я не думаю что файнтюны openorca сильно докинут на donwstrea,
Есть уже смержиная модель https://huggingface.co/Gaivoronsky/Mistral-7B-Saiga
Обсуждают сегодня