@YallenGusev Илья, вопрос по Сайге: - Вы писали что это

- "адаптер", и в то же время, в названии - LoRa, но у нас вчера с GPT-4 поднялась эта тема по ходу, в другом контексте, так она утверждает, что LoRa и Адаптер - это разные вещи, хоть и близкие по сути, но два разных подхода к дообучению с целью снизить издержки и увеличить гибкость. Это так?

А вы не пробовали гуглить? Дергаете человека зря

lora и adapter не только в контексте Сайги используются. например вот https://news.ycombinator.com/item?id=35299978

Роман, никакой агрессии, все нормально. просто в данном вопросе гугл справится быстрее и качественнее, чем Илья)

Ну, то есть в Сайге стоит адаптер поверх Лоры, или что? 🤨

Lora это аббревиатура от low rank adapters(ation)

Лора и есть адаптер своего рода

У меня есть данные что речь идет об "Attention" - они неправильные?

можно больше контекста?

Нене, смотри как видит тему GPT: оба подхода стремятся увеличить эффективность, но делают это разными способами. LoRA уменьшает количество параметров, которые необходимо настроить, в то время как подход адаптера оставляет исходную модель неизменной и добавляет дополнительные слои для настройки. Если вам нужно быстро дообучить модель с минимальным влиянием на ее исходные веса, адаптеры могут быть хорошим решением. Однако, если вы хотите получить наилучшую производительность при минимальном количестве параметров, LoRA может быть более подходящим подходом. и далее: Да, концептуально возможно использовать LoRA и адаптеры совместно в одной модели. Например, вы можете применить LoRA для уменьшения числа параметров вашей модели, и затем добавить адаптеры для дополнительной настройки модели, сохраняя основные веса модели замороженными. Однако стоит отметить, что такой подход может повлечь за собой дополнительную сложность и потребность в ресурсах. Кроме того, насколько эффективно будет совместное использование этих двух подходов, во многом зависит от конкретной задачи и доступных ресурсов. Также следует учитывать, что на момент моего последнего обновления в сентябре 2021 года, я не видел множества примеров практического применения LoRA и адаптеров вместе. Так что, если вы решите использовать эти подходы вместе, вы, вероятно, будете на переднем крае исследований и разработки в этой области.

адаптеров очень много разных. лора — один из них. в целом суть адаптера — эффективно файнтьюнить. если хочешь подробнее погрузиться, можешь из какой-нибудь статьи типа этой вытащить названия адаптеров и попросить чатгпт описать каждый и сравнить

Конечно же нет. "Комплекс эртээфэмщика" (раньше вместо гугления писали: RTFM) - это чистой воды виртуальное быдлячество, вроде как на Хабре, или типа того. ☺️ Попытка скомпенсировать внешнее давление в реальной жизни за счет иллюзии виртуального доминирования 🤷‍♀️

если по простому, то - адаптеры - это просто дополнительные веса, которые “встраиваются” в модель и которые в процессе файнтюна обновляются ( остальные веса фризятся) - лора - тип адаптера, где выбираются веса (напомню, это тензор ( для простоты матрица M*N)) и для каждой выбранной матрицы создаются две другие матрицы M*k и k*N и вот они файнтюнятся

интересный факт , что k << M, N

да