Temirlan

Всем привет! Хочу решить задачу для Q&A с использованием LLM, хотел узнать какие подходы для решения уже существуют. Есть у кого был опыт? Для контекста, условно есть докумен...

и другой вопрос у кого был опыт хорошего файнтюнинга бертов лорой на low-resource языках? какие есть best practices?

Всем привет! Во время файнтюна reward модельки по примеру StackLlama (сам беру openllama7b_700B + qlora_config) обучение застревает на последнем evaluation step'е. Кто-нибудь ...

ребят, всем привет! глупый вопрос, как teacher forcing реализован в decoder-only трансгендерах(gpt and stuff)?

Понял, попробую. Там вопрос про эмбеддер вопроса/документа остался, не тестили?

модель не может решить задачку из абстрактной алгебры в zero-shot performance?

Допустим у нас спорт зал, есть в документе информация про специфичный абонемент "А" (кол-во посещений, условия итд итп) Хочу корректо отвечать на вопрос как минимум: Чтобы пос...

в чем проблема просто послушать их?)

это хорошая инструкт модель?)