Всем привет! Подскажите, пожалуйста, как правильно получить эмбеддинги предложений с

Question

Всем привет! Подскажите, пожалуйста, как правильно получить эмбеддинги предложений с

помощью Llama-2 на HF? ChatGPT дает такой неработающий код: from transformers import LlamaTokenizer, LlamaModel

# Загружаем предварительно обученную модель и токенизатор
tokenizer = LlamaTokenizer.from_pretrained('meta-llama/Llama-2-7b-chat-hf')
model = LlamaModel.from_pretrained('meta-llama/Llama-2-7b-chat-hf')

# Преобразовываем текст в токены
input_ids = tokenizer.encode("Текст для эмбеддинга", return_tensors='pt')

# Получаем выходные данные модели (последний скрытый слой)
last_hidden_state = model(input_ids)[0]

# Эмбеддинг предложения - это среднее или максимум всех токенных эмбеддингов.
sentence_embedding = torch.mean(last_hidden_state, dim=1)

#nlp #programming #russian

0

03.10.2023

2 ответов

13 просмотров

Temirlan

CausalLMForSequenceClassification

0

03.10.2023

datascience xc · Accepted Answer

datascience xc

А зачем вам именно эмбеддинги LLaMA?

0

03.10.2023

170 похожих чатов

Всем привет! Подскажите, пожалуйста, как правильно получить эмбеддинги предложений с

2 ответов

Похожие вопросы