Telegram Bot Talk
dlang.ru
Natural Language Processi...
DL in NLP discussion grou...
Pro Telecom
Всем привет! Ни кому случайно не попадался гайд как выбирать
ранг матриц для LoRA под конкретную модель? Очевидно, что кто-то уже ставил эксперименты по зависимости качества модели на разных тасках для конкретных моделей от ранга матриц, но я не могу их найти (скроее всего не то ищу, буду рад совету 😁️️️️️️ )
1 ответов
46 просмотров
LoRA не очень чувствительна к рангу. Я бы сказал правило буравчика тут использовать 16 если у вас небольшой датасет и использовать 64 если большой.
Похожие вопросы
Обсуждают сегодня
а как в dub выключить дебажный билд?
Maxim Filimonov
А чего плохого в том, чтобы в языке статический анализатор работал всегда ? Кмк сама фишка с безопасностью раста - крутая, но реализация конечно по мне так себе, синтаксис, пр...
Александр
а почему, кстати, геймдевы обращают такое внимание на "новые" языки типа того же D (а также Zig)?
Maxim Filimonov
есть вопрос. за много лет, по редким обрывочным сообщениям, у меня сложилось впечатление что есть такая деликатная тема как замещение скриптов на ди (без компиляции). у себя д...
Karagy
А что непонятного? В чем сложность взять слайс от вектора? И работать как обычно. Какие-то выдумки опять на ровной почве. Да и RAII в ди прекрасно работает с самого начала.
Aleksandr Druzhinin
Чем тема странная?
Kostya Barmin
чтобы с ним можно было работать как известным типом и дергать его конкретные свойства и методы, которые к SomeClass уже не имеют никакого отношения.
ваще SomeClass - это свое...
a11e99z
Ну не канал, а клуб неанонимных лузеров. Нахрена сидеть в канале и постить депрессию всякую? Не подходит Ди - не пиши на нем и не сиди в этом канале.
Не представляю себе кана...
Aleksandr Druzhinin
а вот кстати если есть C API
и есть на си пример где одни названия у енамов и структур
Мы делаем на Ди своё и хотя порядок и содержание такое же, но названия несколько отлича...
Serg Gini
serve-d вообще его умеет?
Maxim Filimonov