Есть ли инструкция по запуску?

Question

Natural Language Processing

Anton

Есть ли инструкция по запуску?

#nlp #programming #russian

0

21.07.2023

5 ответов

6 просмотров

Anton Автор вопроса

Это я видел в статье на Хабре. Я имел в виду, как проинициализировать саму модель? Ну т.е. вот скачал я ее, что дальше делать (до того момента, как уже задать запрос)? Прошу прощения, если мой вопрос кажется глупым. Просто хочу найти ссылку на пример, чтобы можно было уже дальше разбираться с запуском конкретно у себя.

0

21.07.2023

datascience xc

Anton
Это я видел в статье на Хабре. Я имел в виду, как ...

Ну все. Подсовываешь в model_id путь и запускаешь этот код

0

21.07.2023

Anton Автор вопроса

datascience xc
Ну все. Подсовываешь в model_id путь и запускаешь ...

Если это так просто, то спасибо вам огромное за совет!

0

21.07.2023

datascience xc

Anton
Если это так просто, то спасибо вам огромное за со...

Да. Сейчас модель может запустить даже пятиклассник

0

21.07.2023

datascience xc · Accepted Answer

from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "ai-forever/ruGPT-3.5-13B" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto") request = "Пушкие родился в " encoded_input = tokenizer(request, return_tensors='pt', \ add_special_tokens=False).to('cuda:0') output = model.generate( **encoded_input, num_beams=2, do_sample=True, max_new_tokens=100 ) print(tokenizer.decode(output[0], skip_special_tokens=True))

170 похожих чатов

Есть ли инструкция по запуску?

5 ответов

Похожие вопросы