miteigi nemoto

Помогите интерпретировать результаты тестов. Почему большинство моделей имеют плохую релевантность? Даже те, что якобы на русский язык ориентированы. Сравнение разных моделей...

LLAMA2 7b finetuning на малом текстовом блоке при разных batch_size Иходный блок датасета начинается с LLaMA (Large Language Model Meta AI) is a family of large language mod...

"ai-forever/sbert_large_mt_nlu_ru" - плохая релевантность 1024 размер вектора е Солнечной системы он поставил Солнце, а планет score: 0.49211593419714794 ру, переходят все на...

Использую llama-2 для Q&A Когда в документе нет искомого он пишет (фантазирует) python3 main.py "What doing Karl Schwarzschild?" Answer: Karl Schwarzschild is a researcher at...

По сути сейчас небольшому стартапу масштабировать llama инференс весьма затратная тема. Даже такие модели Mistral 7b не сильно меняют ситуацию. А подскажите, какие подходы е...

А оптимизаторы на качество влияют или только на длительность обучения и ресурсы? Stores the acceptable string identifiers for optimizers. ADAMW_HF = "adamw_hf" ADAMW_TORCH =...

Кто-нибудь осилит под заказ сделать скрипт?

А есть ли разница в качестве, когда загружаешь модель fp32 в 8бит, или модель которая уже в 8бит лежит в исходнике?

@YallenGusev Спасибо за ответы. Много времени на эмпирику экономите. Есть ли способ заставить модель при тюнинге забыть все, что она знала до этого и отвечать только по предос...

А куда именно вписать?

Модель LLAMA-2. Как понять, какой объем текста можно указывать в контексте (в промте), чтобы по нему задавать вопросы?

При SFTTrainer трейне LLAMA, размещенной на двух gpu сначала грузится одна GPU, потом другая и так весь трейн. Это нормальное поведение или что-то надо допилить в конфиге?

А какой промт использовали?

как оценить, что у текста математики от астрономии должен быть 0.777 и тогда будет точно что далеко?

А почему при инференсе llm не используются tensor cores?

ну вообще не очевидные вещи, так-то. и по каждой новой модели надо гуглить эту формулу?

Есть смысл гнаться за этими 80гб на борту? Если можно 4 3090х воткнуть минимум и дешевле в несколько раз будет, чем а100.

Who plays Katherine Dunlevy in the movie Jupiter Ascending? GPT3.5 / GPT4 не знают кто снимался, говорят что никто не снимался). А вот Клод выдумывает жестко.

Можно еще рассмотреть https://selectel.ru/services/gpu/?section=dedicated У Яндекса есть. но это дичь запутанная для серьезной игры в ИТ-инфраструктуру https://cloud.yandex....

это значит модель вообще почти не различает текст?