Всем привет! Подскажите как мне скачать целиком модель с hugging face? Я

Question

Всем привет! Подскажите как мне скачать целиком модель с hugging face? Я

пробую так:
git clone https://huggingface.co/facebook/wmt19-ru-en

Но он качает только словари, токены и конфиг, а когда я инициализирую модель у себя через:
tokenizer = FSMTTokenizer.from_pretrained("./facebook/wmt19-en-ru")
model = FSMTForConditionalGeneration.from_pretrained("./facebook/wmt19-en-ru")

Начинает качать саму модель ~1гб
На сколько я понимаю используется эта модель:
https://github.com/pytorch/fairseq/blob/main/examples/wmt19/README.md

Собственно как мне её скачать и положить у себя локально, чтобы каждый раз при инциализации не качалось из интернета?

#nlp #programming #russian

0

04.04.2022

5 ответов

203 просмотра

Max Ermakov

Я просто в коде скачивал модель, а потом сохранял её, получалась директория, которую передаёшь как параметр в from pretrained.

0

04.04.2022

Vova Semerikov Автор вопроса

Max Ermakov
Я просто в коде скачивал модель, а потом сохранял ...

Точно, это долго сработать. сейчас попробую, спасибо!)

0

04.04.2022

Ksenia 🌻

Max Ermakov
Я просто в коде скачивал модель, а потом сохранял ...

Я также делаю, передаю просто папку репозитория, и он под капотом все сам инициализирует. Для того, чтобы скачать всю модель в репозиторий, надо до клонирования репо выполнить «git lfs install”. Тогда все модели тоже скачаются. Это вообще прямо на сайте в окошке use in transformers описано, кажется

0

04.04.2022

Ksenia 🌻

Ksenia 🌻
Я также делаю, передаю просто папку репозитория, и...

@thetyumenabbey

0

04.04.2022

N_I · Accepted Answer

N_I

Я не эксперт, но когда ты запускаешь from_pretrained, то по сути и просишь скачать модель. А если у тебя есть модель уже с весами, то можно же её torch.load сделать

0

04.04.2022

170 похожих чатов

Всем привет! Подскажите как мне скачать целиком модель с hugging face? Я

5 ответов

Похожие вопросы