170 похожих чатов

Всем привет, кто-то знает, сколько весит в ГБ llama2 70B?

И можно ли её как-то запустить будет на одной А100?

5 ответов

36 просмотров

bitsandbytes сейчас с ней не работает.

По идее gglm версия на чистом ЦПУ должна запускаться. Я первую ламу gglm 30B на 24 гб чистого ЦПУ запустил - медленно но пашет 🤷‍♀️

🅿️🅾️Ⓜ️🅰️♓️🈴 romad.ru
По идее gglm версия на чистом ЦПУ должна запускать...

И там по идее можно раскидать нагрузку что на гпу что на цпу, сам не делал но опцию такую в torch помню

Похожие вопросы

Обсуждают сегодня

Кстати, а я вот тут подумал. Допустим, у нас имеется цикл который выполняет огромное количество итераций, но мы хотим, чтобы какие-то действия исполнилось только один раз. В Я...
The Bird of Hermes
23
Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
28
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
анрей С какой целью зашёл?
КТ315
42
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
@not_fajox С какой целью зашёл?
КТ315
9
Короче получается только кнопки не поменять А кнопки вроде тоже слетают при редактировании не?
inc.
10
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Всем привет ребят! Мб кто-то сталкивался? adminСomponents .get("searchСomponents", use: searchComponents) .openAPI( summary: ...
Admin Adminov
2
Карта сайта