215 похожих чатов

Вопрос: Кто-Нибудь использовал SBert для вычисления эмбедингов не отдельных предложений, а

текстов? Это работает?
У меня стоит задача сравнения между собой большого количества текстов на всевозможные темы. Я планирую брать от каждого текста не более 512 токенов, вычислять эмбединги и сравнивать. Но не уверен, что на текстах будет работать...

2 ответов

14 просмотров

Ни разу не работал с данным направлением, но сразу всплывает в голове термин - "суммаризация текста" - погугли.

любой берт работает, из коробки достаточно не плохо. Сложности начинаются, если есть специфика текстов, например только медицинские. Тогда придется их тюнить. Ну и еще имеет значение какие языки поддерживаются. Вообще лучше смотреть на каком корпусе было обучение и какие метрики использовались. Нам подошла такая вот https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3 и косинусное расстояние в качестве метрики

Похожие вопросы

Обсуждают сегодня

Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
55
Привет, нужен совет старших товарищей. Есть глобальная переменная var DefaultDataFolder:string; инициализируем DefaultDataFolder:='a:\_OUT\'; есть примитивная процедур...
Max Otto
11
Вопрос. Теоретический. Есть список команд. Команды отправляю в обработку некой функции, по очереди. Разные команды могут давать разные результаты после обработки. В зависимос...
Serjone
7
Всем вечера. Подскажите как лучше сделать. делаю на Д10 Например будет база данных на SQLite. в ней будет много таблиц. более 50шт Типа справочник. Содержать ID Name Id p...
Андрей Т 🐎
10
Сonst magicTgHTML = (text, entities) => { let processedText = text; let offsetShift = 0; entities.forEach(entity => { const { offset, length, type, url, ...
Андрей
1
это группа токсиков или тех кто помогает?
Ибрагим
9
Я короче решил скомпилировать Nim в js, я думал он сработает как обычный транслятор. По итогу он мне создал файл с расширением js, и туда поместил кучу кода Вопрос, что это з...
𝕾𝖍𝖆𝖉𝖊 <suspense>
8
мы пытаемся подменить функцию, которая имеет меньше инструкций относительно функции, которой подменяем. https://www.reddit.com/r/jailbreakdevelopers/comments/w06ujy/mshookfun...
Óðinn
6
У кого-нибудь есть под рукой функция кодирования юникода, которая из фразы На русском сделает \u041d\u0430\u0020\u0440\u0443\u0441\u0441\u043a\u043e\u043c ?
Daniil Smolyakov
7
подскажите пожалуйста, как мне освободить результат записанный в переменную result? в чем проблема подскажите если МОЖЕТЕ?
Михаил Helper
28
Карта сайта