способа ее использовать: через торч и через sentencetransformers.
Подскажите, есть ли вероятность, что второй способ более медленный?
Не могу прямо сейчас проверить, может кто-то в курсе.
Так sentence-transformers просто обертка же
Sentencetransformers быстрее чем, торч. Потому что предложение находит средне токенов внутри, а торч реализует среднее пословно после токенизации. Можете скинуть характеристики вашего сервера? С видеокартой?
гмм, точно быстрее ? спасибо! крутим на ЦПУ, сейчас уточню, что там...
Обсуждают сегодня