у вас в примере (который я взял за основу) есть: generator = model.generate( tokens, top_k=30, top_p=0.9, temp=0.2, repeat_penalty=1.1 ) и model = Llama( model_path=CHAT_MODEL_PATH, n_ctx=1000, n_parts=1, ) но вы ведь о чем-то другом, да? 🤨
Обсуждают сегодня