170 похожих чатов

Всем привет, я запутался тут с LoRA, никогда ей раньше

не пользовался. Я хочу подключить её к модели, чтобы там добавились эти дополнительные матрицы для обучения. Но при этом я хочу обучать и частично модель (замораживаю часть слоёв сам). Как сделать так, чтобы помимо LoRA обучалась ещё и вся остальная модель?

7 ответов

11 просмотров

for name,p in model.named_parameters(): if name in ['modules_names_you_want_to_unfreeze']: p.requires_grad = True

Alexander 🎤👑-Diesel Автор вопроса
Temirlan
for name,p in model.named_parameters(): if na...

peft_config = LoraConfig( r=8, lora_alpha=4, task_type=TaskType.SEQ_CLS, lora_dropout=0.1, inference_mode=False, target_modules=["query_proj", "value_proj"], modules_to_save=['classifier', 'pooler', 'encoder'], ) Мне даже сюда не нужно прописывать тогда encoder итд, если я хочу его обучать?

Alexander 🎤👑 Diesel
peft_config = LoraConfig( r=8, ...

да по идее даже можете поменять

Alexander 🎤👑 Diesel
peft_config = LoraConfig( r=8, ...

а что именно хотите разморозить?

Alexander 🎤👑-Diesel Автор вопроса
Temirlan
а что именно хотите разморозить?

deberta_large, в идеале хотел бы разморозить всё + добавить слои лоры, а потом уже заморозить часть первых слоёв-энкодеров

Alexander 🎤👑-Diesel Автор вопроса
Temirlan
а зачем лора тогда?

Чтобы в передних слоях обучались только её проекции

Похожие вопросы

Обсуждают сегодня

Кстати, а я вот тут подумал. Допустим, у нас имеется цикл который выполняет огромное количество итераций, но мы хотим, чтобы какие-то действия исполнилось только один раз. В Я...
The Bird of Hermes
23
Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
28
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
анрей С какой целью зашёл?
КТ315
42
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
@not_fajox С какой целью зашёл?
КТ315
9
Короче получается только кнопки не поменять А кнопки вроде тоже слетают при редактировании не?
inc.
10
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Всем привет ребят! Мб кто-то сталкивался? adminСomponents .get("searchСomponents", use: searchComponents) .openAPI( summary: ...
Admin Adminov
2
Карта сайта