Embeddings = HuggingFaceEmbeddings(model_name="cointegrated/LaBSE-en-ru") embed_model = LangchainEmbedding(embeddings) Кто-нибудь может подсказать почему такой код

Question

Embeddings = HuggingFaceEmbeddings(model_name="cointegrated/LaBSE-en-ru") embed_model = LangchainEmbedding(embeddings) Кто-нибудь может подсказать почему такой код

вызывает следующее предупреждение?

WARNING:sentence_transformers.SentenceTransformer:No sentence-transformers model found with name .cache/torch/sentence_transformers/cointegrated_LaBSE-en-ru. Creating a new one with MEAN pooling.

#nlp #programming #russian

0

04.11.2023

5 ответов

21 просмотр

David Dalé

David Dalé
потому что я эту модель не сохранял в формате sent...

давай я конфиг sentence transformers добавлю наверное, чтобы путаницы не было

0

6 месяцев назад

Dmitry Автор вопроса

David Dalé
потому что я эту модель не сохранял в формате sent...

спасибо за пояснение.

0

6 месяцев назад

David Dalé

Dmitry
спасибо за пояснение.

Залил недостающие конфиги в https://huggingface.co/cointegrated/LaBSE-en-ru. Теперь модель нормально импортируется в sentence_transformers.

0

6 месяцев назад

Dmitry Автор вопроса

David Dalé
Залил недостающие конфиги в https://huggingface.co...

Спасибо!

0

6 месяцев назад

David Dalé · Accepted Answer

потому что я эту модель не сохранял в формате sentence-transformers) Он является дополнением к обычномв формату bert в huggingface, и, в частности, описысывает, каким должнн быть пулинг. Так что этот ворнинг не зря: твой код решил делать mean pooling, а эта модель предназначена для cls пулинга.

170 похожих чатов

Embeddings = HuggingFaceEmbeddings(model_name="cointegrated/LaBSE-en-ru") embed_model = LangchainEmbedding(embeddings) Кто-нибудь может подсказать почему такой код

5 ответов

Похожие вопросы