Квантизированную да. Оригинал не пробовал
Я в llm студию скачал, она там довольно тупая
Я запустил "в лоб", как Мистраль, но там действительно, что то с промтами...
Да, копаю в эту сторону. Кстати, vLLM без проблем, но отвечает на англ. Пока не заставил перейти на русский
какая то лютая хрень... но надо пробовать
Получается мы всегда имеем пары QA от GPT в датасете, но не имеем сис.промпта который задан для GPT При обучении OpenChat никогда не видела системного промпта получается, хотя на самом деле он был у GPT который генерировал датасет
почему бы не запустить как написали разработчики ?
Обсуждают сегодня