miteigi nemoto

Помогите интерпретировать результаты тестов. Почему большинство моделей имеют плохую релевантность? Даже те, что якобы на русский язык ориентированы. Сравнение разных моделей...

LLAMA2 7b finetuning на малом текстовом блоке при разных batch_size Иходный блок датасета начинается с LLaMA (Large Language Model Meta AI) is a family of large language mod...

"ai-forever/sbert_large_mt_nlu_ru" - плохая релевантность 1024 размер вектора е Солнечной системы он поставил Солнце, а планет score: 0.49211593419714794 ру, переходят все на...

Использую llama-2 для Q&A Когда в документе нет искомого он пишет (фантазирует) python3 main.py "What doing Karl Schwarzschild?" Answer: Karl Schwarzschild is a researcher at...

А оптимизаторы на качество влияют или только на длительность обучения и ресурсы? Stores the acceptable string identifiers for optimizers. ADAMW_HF = "adamw_hf" ADAMW_TORCH =...

Кто-нибудь осилит под заказ сделать скрипт?

По сути сейчас небольшому стартапу масштабировать llama инференс весьма затратная тема. Даже такие модели Mistral 7b не сильно меняют ситуацию. А подскажите, какие подходы е...

А куда именно вписать?

А есть ли разница в качестве, когда загружаешь модель fp32 в 8бит, или модель которая уже в 8бит лежит в исходнике?

@YallenGusev Спасибо за ответы. Много времени на эмпирику экономите. Есть ли способ заставить модель при тюнинге забыть все, что она знала до этого и отвечать только по предос...

Модель LLAMA-2. Как понять, какой объем текста можно указывать в контексте (в промте), чтобы по нему задавать вопросы?

При SFTTrainer трейне LLAMA, размещенной на двух gpu сначала грузится одна GPU, потом другая и так весь трейн. Это нормальное поведение или что-то надо допилить в конфиге?

А какой промт использовали?

как оценить, что у текста математики от астрономии должен быть 0.777 и тогда будет точно что далеко?

ну вообще не очевидные вещи, так-то. и по каждой новой модели надо гуглить эту формулу?

А почему при инференсе llm не используются tensor cores?

Есть смысл гнаться за этими 80гб на борту? Если можно 4 3090х воткнуть минимум и дешевле в несколько раз будет, чем а100.

это значит модель вообще почти не различает текст?

Можно еще рассмотреть https://selectel.ru/services/gpu/?section=dedicated У Яндекса есть. но это дичь запутанная для серьезной игры в ИТ-инфраструктуру https://cloud.yandex....

блин.. в чем тогда смысл фукнции симилярити если нужно ручками еще пороги искать?