и пр. Верно ли я понимаю, что для инференса это тоже работает? Если я допустим хочу завести rlhf с моделью на 7B параметров, то сколько +- памяти потребуется, или это анриал даже на 8 A6000 сделать? В текущий момент у меня модель на 2.7B при инференсе занимает 10Гб VRAM, это норм?
https://moocaholic.medium.com/fp64-fp32-fp16-bfloat16-tf32-and-other-members-of-the-zoo-a1ca7897d407
Обсуждают сегодня