Пробовали задеплоить модель bert-base-multilingual-cased (https://github.com/neulab/awesome-align) на Heroku, но ей для

Question

Пробовали задеплоить модель bert-base-multilingual-cased (https://github.com/neulab/awesome-align) на Heroku, но ей для

работы надо 1,5 gb памяти. На Heroku это получается 250$ вмесяц. Как можно удешевить деплой? Можно ли логику оставить на Heroku, а самому модель положить на какой-нибудь дешевый data storage? В целом, какие бестпрактики в таких случаях?

#nlp #programming #russian

0

09.05.2023

2 ответов

1 просмотр

Alexander Автор вопроса

David Dalé
Нет, тут data storage не поможет, ведь вы хотите е...

Благодарю за развернутые рекомендации! Подскажите, как формулируется название роли специалиста, которому такое лучше делегировать? Либо опыт с какими технологиями должен присутствовать?

0

12 месяцев назад

David Dalé · Accepted Answer

Нет, тут data storage не поможет, ведь вы хотите её не просто хранить, а использовать, а для этого модель всё равно придется загружать в оперативную память) Можно порекомендовать две вещи: 1) Использовать модель поменьше (какую именно - зависит от языка/языков, с которыми вы работаете, и конкретной решаемой задачи). 2) Попробовать экспортировать модель в ONNX и навесить на неё разных оптимизаций (фреймворк optimum вроде позволяет это довольно легко делать: https://huggingface.co/docs/optimum/v1.2.1/en/quickstart).

170 похожих чатов

Пробовали задеплоить модель bert-base-multilingual-cased (https://github.com/neulab/awesome-align) на Heroku, но ей для

2 ответов

Похожие вопросы