170 похожих чатов

Всем добрый день! Кто-нибудь знает способ запустить multilingual USE (который

лежит на tensorflow hub, например) на pytorch? Поиск в гугле не дал желаемого результата ;(

22 ответов

11 просмотров

Нет такого варианта. (так как там не только модель зашита, но и токенайзер) Есть вариант использовать sentence-transformers

А можешь дать ссылку?

Rodion-Proskuryakov Автор вопроса
Al.exe
А можешь дать ссылку?

На что именно? На саму модель?

Rodion-Proskuryakov Автор вопроса
Al.exe
Да на тф хабе

https://tfhub.dev/google/universal-sentence-encoder-multilingual/3

Rodion-Proskuryakov Автор вопроса
Rodion-Proskuryakov Автор вопроса

Не, мне нужно как вход для другой модели, считать эмбеддинги на лету

Alexander Fedorenko
ну не собирайте корпус, а делайте по одному

UPD хотя по обрывкам, я скорее не совсем верно, не в полном объеме понимаю вашу проблему

Rodion-Proskuryakov Автор вопроса
Alexander Fedorenko
UPD хотя по обрывкам, я скорее не совсем верно, не...

Мне нужно использовать USE в онлайн-режиме в веб-сервисе, считая эмбеддинги по запросу. При этом хочется запустить это дело на торче вместо tf

Rodion Proskuryakov
Мне нужно использовать USE в онлайн-режиме в веб-с...

Возьмите аналогичную модель из библиотеки sentence-transformers

сравнивал для поиска на одних и тех же наборах SBERT и MUSE - MUSE показывал гораздо круче результат Хоть и перебирал модели для SBERT, точность поиска MUSE была выше

Alexander Fedorenko
сравнивал для поиска на одних и тех же наборах SB...

не исключаю, что есть наборы, на который результат может быть обратным но у меня таких наборов не было

Rodion-Proskuryakov Автор вопроса

Вы же не знаете мои вводные целиком, MUSE и USE - совершенно разные модели

Rodion Proskuryakov
Вы же не знаете мои вводные целиком, MUSE и USE - ...

вы спрашивали о multilingual USE, вот я о нем вам и ответил

Rodion-Proskuryakov Автор вопроса

Хорошо, но я так и не понял, где мне взять реализацию для торча, в этом был вопрос

Rodion Proskuryakov
Хорошо, но я так и не понял, где мне взять реализа...

Третий раз вам сообщаю - такой реализации нет. Никому нет желания (необходимости) портировать sentencepiece токенайзер из USE.

А альтернативы не рассматриваете?

Rodion-Proskuryakov Автор вопроса
Al.exe
А альтернативы не рассматриваете?

Нет, к сожалению, это вопрос требований к системе

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
Открыл свой двухкилобайтный экзешник в x32dbg, а тут какая-то хрень. Смущает кнопка "выполнить до пользовательского кода", а что ещё может быть в файле помимо него ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
11
Мне были интересны дишные хаки и я нашёл любопытный способ на форуме через __traits, что-то вроде int delegate(int) fac = (int n) => n == 0 ? 1 : n * __traits(parent, {})(n - ...
Constantin F.
1
Всем привет, подскажите/посоветуйте пожалуйста. Фаердак компоненты, имею одно место где бизнес хочет видеть при открытии формы список всех клиентов, это порядка 30к. Мои дово...
Sasha Sch
14
Вопрос тем кто смотрит видео и слушает подкасты - как вы потом ищете нужную вам информацию? Вот статью я прочитал, потом могу искать нужную мне часть банальным поиском. Пропус...
Aleksandr Druzhinin
4
Ребят, если кто в курсе - скажите, а в загранке такое же засилье маркетплейсов? или там простые сермяжные интернет-магазины живут попроще?
Андрей [aharito] Харитонов
14
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
31
Карта сайта