как правильно подключить модель. От модели есть только GGUF-файл. Что с ним сделать нужно, чтобы вытащить все необходимые *.json и *.bin?
GGUF это для инференса, можно так сказать. Лучше скачать сайгу оффициальную в пайторческовом формате. Далее сможешь обучить, и конвертнуть в GGUF
Да, разобрался. Там через lora и pytorch надо учить
лора!!! гений!!!!! спасибо огромное
Обсуждают сегодня