способа ее использовать:  через торч и через sentencetransformers. 
                  
                  
                  Подскажите, есть ли вероятность, что второй способ более медленный? 
                  
                  
                  Не могу прямо сейчас проверить,  может кто-то в курсе.
                  
                  
                
Так sentence-transformers просто обертка же
Sentencetransformers быстрее чем, торч. Потому что предложение находит средне токенов внутри, а торч реализует среднее пословно после токенизации. Можете скинуть характеристики вашего сервера? С видеокартой?
гмм, точно быстрее ? спасибо! крутим на ЦПУ, сейчас уточню, что там...
Обсуждают сегодня