169 похожих чатов

Добрый вечер. Начинаю сейчас разбираться с text-completion моделями по типу

llama2, openai
Подскажите, пожалуйста, такие модели часто поддерживают стриминг как эти две, или это редкость?

5 ответов

4 просмотра

Стриминг в контексте llm это что? Исключительно академический интерес

ShiroNoHaga- Автор вопроса
Eduard
Стриминг в контексте llm это что? Исключительно ак...

При отдаче по апи отдаёт по частям, а не сразу фулл ответ По итогу меньше надо ждать чтобы увидеть первые результаты

ShiroNoHaga
При отдаче по апи отдаёт по частям, а не сразу фул...

Мне кажется это чисто инженерная фишка чтоб выровнять нагрузку

openai - вообще компания, а стриминг к модели не имеет никакого отношения

Похожие вопросы

Обсуждают сегодня

читать файл максимально быстро? странный вопрос))
zamtmn
53
Привет. Сразу скажу, что на C/C++/Rust я не пишу, но тем не менее возникла потребность дебага C/C++/Rust кода. Суть: есть серверное приложение, которое периодически ведёт себ...
ninekeem 🐳
4
А чего сейчас в моде вместо Error для эксепшенов? А то я тут внезапно узрел что он не рекомендуется :) У Try::Tiny какой-то совершенно ужасный синтаксис если надо конкретные э...
Denis F
16
или вы считаете муит дает знание?
супер_лох_3000 альфа версия
12
А кто такой мужчина в твоем понимании Азиз?
who?です 🐈
11
Ну значит тебе повезло, мы же про транк говорим оба?
Александр (Rouse_) Багель
11
всем привет! углубившись в плюсы и начав изучать реверсинг понял, что без асм'а никуда со своими высокоабстрактными представлениями начал изучать механизмы асма, и не совсем п...
9
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Всем ку. Подскажите, если задекларировал массив так: int arr[10] = {1, 2, 3, 4}, то в arr[4] будет мусор или нуль?
Sasha K
14
буквально один оставшийся вопрос при выполнении строчки mov eax, 5 операнд "5" будет присутствовать где-либо в памяти (любой), кроме как в памяти блока .code? подвопрос: как...
12
Карта сайта