лежит на tensorflow hub, например) на pytorch? Поиск в гугле не дал желаемого результата ;(
Нет такого варианта. (так как там не только модель зашита, но и токенайзер) Есть вариант использовать sentence-transformers
А можешь дать ссылку?
На что именно? На саму модель?
Да на тф хабе
https://tfhub.dev/google/universal-sentence-encoder-multilingual/3
Грустно, но все равно спасибо
Не, мне нужно как вход для другой модели, считать эмбеддинги на лету
ну не собирайте корпус, а делайте по одному
UPD хотя по обрывкам, я скорее не совсем верно, не в полном объеме понимаю вашу проблему
Мне нужно использовать USE в онлайн-режиме в веб-сервисе, считая эмбеддинги по запросу. При этом хочется запустить это дело на торче вместо tf
Возьмите аналогичную модель из библиотеки sentence-transformers
ИМХО вы просто не вникли там все это есть)
сравнивал для поиска на одних и тех же наборах SBERT и MUSE - MUSE показывал гораздо круче результат Хоть и перебирал модели для SBERT, точность поиска MUSE была выше
не исключаю, что есть наборы, на который результат может быть обратным но у меня таких наборов не было
Вы же не знаете мои вводные целиком, MUSE и USE - совершенно разные модели
вы спрашивали о multilingual USE, вот я о нем вам и ответил
Хорошо, но я так и не понял, где мне взять реализацию для торча, в этом был вопрос
Третий раз вам сообщаю - такой реализации нет. Никому нет желания (необходимости) портировать sentencepiece токенайзер из USE.
А альтернативы не рассматриваете?
Нет, к сожалению, это вопрос требований к системе
Какие у вас требования если не секрет
Обсуждают сегодня