llama2, openai
                  
                  
                  Подскажите, пожалуйста, такие модели часто поддерживают стриминг как эти две, или это редкость?
                  
                  
                
Стриминг в контексте llm это что? Исключительно академический интерес
 ShiroNoHaga
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          ShiroNoHaga
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  При отдаче по апи отдаёт по частям, а не сразу фулл ответ По итогу меньше надо ждать чтобы увидеть первые результаты
Мне кажется это чисто инженерная фишка чтоб выровнять нагрузку
Это ещё важно для юзер экспириенса
openai - вообще компания, а стриминг к модели не имеет никакого отношения
Обсуждают сегодня