HuggingFace в карточки нет примера кода как модель загрузить, как передать текст и получить ответ? Например хочу у себя запустить llama2, но на тех моделях что мне понравились, примера кола нет😞
Берём другой код инференса и всё
Какой другой? Любой с таким же тэгом, например llama2?
Ну типа в чем сложность написать код инференса для модели самому?
Наверно я так и попробую, но иногда хочется просто скопировать)
нужно еще где то чекнуть ориг параметры инференса
Тебе их все равно подбирать
лучше отталкиваться от готовых
Обсуждают сегодня