5 похожих чатов

Telegram Bot Talk Telegram Bot Talk
dlang.ru dlang.ru
Natural Language Processi... Natural Language Processi...
DL in NLP discussion grou... DL in NLP discussion grou...
Pro Telecom Pro Telecom
DL in NLP discussion group DL in NLP discussion group
Gleb-Skiba

Всем привет! Ни кому случайно не попадался гайд как выбирать

ранг матриц для LoRA под конкретную модель? Очевидно, что кто-то уже ставил эксперименты по зависимости качества модели на разных тасках для конкретных моделей от ранга матриц, но я не могу их найти (скроее всего не то ищу, буду рад совету 😁️️️️️️ )

#communication #dlinnlp #nlp #russian
0

1 ответов

47 просмотров
Vlad-Lialin

LoRA не очень чувствительна к рангу. Я бы сказал правило буравчика тут использовать 16 если у вас небольшой датасет и использовать 64 если большой.

0
04.10.2023

Похожие вопросы

DL in NLP discussion group DL in NLP discussion group / Dmitriy
Подписаться

Ребят, помогите пожалуйста разобраться, как сделать правильно!? У меня есть файл типа hdf5. В pytorch датасете у меня с него считываются данные. Проблема заключается в том, ч...

#communication #dlinnlp #nlp #russian
26.08.2021
0
14 ответов
DL in NLP discussion group DL in NLP discussion group / Anton Patshin
Подписаться

Добрый вечер! подскажите пожалуйста, что сейчас хорошо делает саммери или эмбеденги по тексту? задача , сравнить два и более текстов от разных редакторов, и понять, они напис...

#communication #dlinnlp #nlp #russian
21.07.2023
0
7 ответов
DL in NLP discussion group DL in NLP discussion group / николай
Подписаться

всем привет. недавно решил вкатиться в data science. имею базовые навыки программирования на Python, опыт работы с другими библиотеками (в вебе практиковался), а также базовые...

#communication #dlinnlp #nlp #russian
20.07.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Andrey Bezryadin
Подписаться
screenshot

Народ замутил инференс, чтобы гонять большую ламу 65B на множестве машин по миру через распределёнку (что это такое я писал тут). Ну чё запустим 65B LLaMA на кластере из Raspb...

#communication #dlinnlp #nlp #russian
12.07.2023
0
2 ответов
DL in NLP discussion group DL in NLP discussion group / Vasiliy Chernyakov
Подписаться

Всем привет! Такой вопрос. Стоит ли идти в NLP, если интересно изучение языков и программирование? Насколько вообще ежедневные задачи близки к лингвистике? Чем обычно занимают...

#communication #dlinnlp #nlp #russian
13.08.2021
0
18 ответов
DL in NLP discussion group DL in NLP discussion group / Shabtai Papernick
Подписаться
screenshot

🪝Как заякорить мужчину, чтобы лишь ты одна была в его голове постоянно?❤️‍🔥 ▪️Красота слов: важно быть открытой и не стесняться говорить комплименты. ▪️Тактика 4 простых ша...

#communication #dlinnlp #nlp #russian
22.08.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Maxim D
Подписаться

Вопрос к экспертам в области RL/RLHF/PPO В реализации RLHF подхода (https://github.com/lvwerra/trl) авторы вычисляют KL-div между policy и референсной моделью вначале PPO шага...

#communication #dlinnlp #nlp #russian
02.08.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Tkzin Souza
Подписаться

🌝✋🏻Здравствуйте,есть предложение для Тебя! 🚀Заинтересован зарабатывать 100 $ каждый день? 🔁Провожу набор в мою личную команду по зароботку: ▪️Занятость от 2-3 часов в день. ...

#communication #dlinnlp #nlp #russian
04.10.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Oleh Kopyl – serial entrepreneur 🇺🇦
Подписаться

What is the best model for ocr which gives text this format: input – <single_image> output – <entire_text_on_the_image> (not characted by character)? Ideally: - No bboxes - ...

#communication #dlinnlp #nlp #russian
07.11.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Victoria Latynina
Подписаться

Привет всем, а можно попробовать аккуратно завести тему ИИ конференции, которая прошла на днях? Возможно кто-то из спикеров уже публично выступил и сказал, что их не предупред...

#communication #dlinnlp #nlp #russian
27.11.2022
0
4 ответов
Смотреть еще
DL in NLP discussion group DL in NLP discussion group
Подписаться
Вопросов 76
Ответов 159
Участников 1109
Telegram @dlinnlp_discuss

Обсуждают сегодня

Он в одиночку это дело запилил или была какая-то команда?
Aquinary
12
Вообще кстати бывают такие тулкиты чтобы вот разработал под ОС X, всё оттестировал работает А потом собрал под ОС Y - и там просто без вообще любых изменений заработало?
Serg Gini
14
всем привет, кто знает нормальный гайд как настроить отладчик в Intelij на Windows?
QUAD69
6
А, вообще, знает кто-нить альтернативы D в области безопасных, читабельных ОО-языков?
Nik Lan
14
Работа над эдишенами там какая-то ведется? Или пока что тишина?
Serg Gini
1
приветствую. хочу сделать себе D Playground вопрос: можете подсказать с чего мне следует начать и в какую сторону двигаться? P.S.: я не являюсь программистом... но в небольш...
dd
5
а как в dub выключить дебажный билд?
Maxim Filimonov
12
Что кто фри селф хостинг там практикует? Через tunnel?
Serg Gini
8
А что непонятного? В чем сложность взять слайс от вектора? И работать как обычно. Какие-то выдумки опять на ровной почве. Да и RAII в ди прекрасно работает с самого начала.
Aleksandr Druzhinin
14
а почему, кстати, геймдевы обращают такое внимание на "новые" языки типа того же D (а также Zig)?
Maxim Filimonov
9
Карта сайта