А есть ли разница в качестве, когда загружаешь модель fp32

Question

в 8бит, или модель которая уже в 8бит лежит в исходнике?

#nlp #programming #russian

0

05.10.2023

11 просмотров

что значит "всего лишь float -> int"?

0

05.10.2023

https://qdrant.tech/articles/scalar-quantization/

0

05.10.2023

до недавнего времени модели в 8 битах вообще лежать не могли, а разницы так-то нет

0

05.10.2023

в transformers не обычная RTN квантизация

0

05.10.2023

Erdeni · Accepted Answer

Слышал в 8 бит это всего лишь float -> int теряешь 1% в качестве, а выигрываешь х4 уменьшение размера. В 4bit сильное повреждение. Так ли это?

0

05.10.2023