обязательно Llama, может какую-нибудь другую большую обученную модель. Но именно дообучить своими данными.
https://colab.research.google.com/github/IlyaGusev/rulm/blob/master/self_instruct/tune_llama_7b.ipynb
Если пользуетесь llama.cpp, то достаточно просто файла с датасетом https://github.com/ggerganov/llama.cpp/tree/master/examples/finetune
Спасибо если будут вопросы, можно тогда вас попингую
Обсуждают сегодня