И можно ли её как-то запустить будет на одной А100?
bitsandbytes сейчас с ней не работает.
По идее gglm версия на чистом ЦПУ должна запускаться. Я первую ламу gglm 30B на 24 гб чистого ЦПУ запустил - медленно но пашет 🤷♀️
И там по идее можно раскидать нагрузку что на гпу что на цпу, сам не делал но опцию такую в torch помню
Обсуждают сегодня