Torch.Cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 16.00 GiB

Question

Torch.Cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 16.00 GiB

(GPU 0; 6.00 GiB total capacity; 20.00 KiB already allocated; 5.01 GiB free; 3.00 GiB allowed; 2.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

У меня на 6 гб видеокарта (как показала nvidia-smi). Как можно сделать ограничение на максимальный объем до 6 гб? torch.cuda.set_per_process_memory_fraction(0.5) не помогает

#backend #bot-development #programming #russian #telegram

0

28.08.2023