Всем, добрый день, есть вопрос по TGI Цель - выкатить модель

на прод с TGI.На проде доступно всего 24 гб видео памяти.
Модели нужно 60. WizardCoder-15B-V1.0

Я хотел уточнить, как я понял, наилучшим будет следующий вариант развития событий

Так как у меня всего 24 гб памяти и TGI поддреживает нативнуб квантизацию ток в 4 бита( модель совсем не проходит по качеству)
то нужно орендовать машину и там:

1) згрузить модель в оригинале
2) силить лора матрицы в модель
3) сохранить чекпоинт готовой модели
4) указать путь к ней при настройке докер образа с TGI

Вопросы:

- в 24 гига модель помещается ток в 8ми битах, это ж ее нужно потом к 8ми битам как-то привести после того, как я солью веса,
я так понял это делается через model.half().Это так делается, да?

- допустим я как-то привел модель со слитыми весами к 8ми битам и она теперь поместилась в 24 гб, теперь можно просто указать путь к ней при настройке докер образа с TGI?

У TGI в описании значится

You can also quantize the weights with bitsandbytes to reduce the VRAM requirement:

make run-falcon-7b-instruct-quantize
4bit quantization is available using the NF4 and FP4 data types from bitsandbytes. It can be enabled by providing --quantize bitsandbytes-nf4 or --quantize bitsandbytes-fp4 as a command line argument to text-generation-launcher.

то есть выглядит, как отсутствие поддержки int8 и 8ми битной квантизации в принципе.Исходя из експериментов, 4битная версия модели работает плохо и не подходит для решения задачи.То есть мне нужно чтобы модель была имноо 8ми битной.

Что-то можете сказать по этому поводу?

tgi не подддерживает 8 бит, конец истории :( никак не засервить

Ilya Gusev
эээ что?

а блет я с VLLM спутал

>- в 24 гига модель помещается ток в 8ми битах, это ж ее нужно потом к 8ми битам как-то привести после того, как я солью веса, я так понял это делается через model.half().Это так делается, да? нет, не через half() (Это для fp16). можно загружать модель в фп16 и при запуске тги указать, что нужно квантизовать модельку (через флаг)