Коллеги, я конечно, программист тот еще, но тут вопрос по

Question

Коллеги, я конечно, программист тот еще, но тут вопрос по

инференсу Сайги-2-70б - https://huggingface.co/IlyaGusev/saiga2_70b_lora
Исходные данные 2хА5000 24гб, 256 Озу,
В лоб не взлетело, сделал квантизацию, как советуют на ХФ - https://huggingface.co/docs/transformers/main/en/main_classes/quantization
device_map = {
"transformer.word_embeddings": "cuda",
"transformer.word_embeddings_layernorm": "cuda",
"lm_head": "cpu",
"transformer.h": "cpu",
"transformer.ln_f": "cpu",
"model.embed_tokens": "cpu",
"model.layers":"cpu",
"model.norm":"cpu"
}
Картина с загрузкой GPU следующая.
Жду ответа на ванильный запрос: "Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч", уже часа 3. Куда копать?