llama2, openai
Подскажите, пожалуйста, такие модели часто поддерживают стриминг как эти две, или это редкость?
Стриминг в контексте llm это что? Исключительно академический интерес
При отдаче по апи отдаёт по частям, а не сразу фулл ответ По итогу меньше надо ждать чтобы увидеть первые результаты
Мне кажется это чисто инженерная фишка чтоб выровнять нагрузку
Это ещё важно для юзер экспириенса
openai - вообще компания, а стриминг к модели не имеет никакого отношения
Обсуждают сегодня