Если кто-нибудь сталкивался - если по человечески (в fp16 инференсить)

на сколько минимум железок нужно рассчитывать, чтобы 65B модель запустить? 2*A100 потянут?

1 ответов

29 просмотров

Ну вес модели на /2 в 2а100 не впихнется без квантизации

Похожие вопросы

Карта сайта