хотя бы так
буду пробовать, мерси! 🙏
TypeError: Llama.generate() got an unexpected keyword argument 'n_threads' generator = model.generate( tokens, top_k=30, top_p=0.9, temp=0.2, repeat_penalty=1.1, n_threads=6 ) не подходит. но это должно работать, да?
ну значит в конструктор самой модели
круть!! 🚀 Илья, спасибо!! 🙏
Обсуждают сегодня