На какой конфигурации можно использовать 13b модель без квантизации? Пробую llama

Question

На какой конфигурации можно использовать 13b модель без квантизации? Пробую llama

code 13b instruct на вот такой машине — Out Of Memory.

CUDA Device Name: NVIDIA RTX A6000
CUDA Device Total Memory [GB]: 51.041271808

С квантизацией 4bit влазит в 6 гигов. С квантизацией 8бит уже на 48GB не грузит. Очень странно.
Для загрузки использую стандартную HF

model = AutoModelForCausalLM.from_pretrained(model_id,
device_map=DEVICE_MAP,
local_files_only=LOAD_FROM_LOCAL,
use_cache=False,
)