170 похожих чатов

Коллеги, мучает один детский вопрос. Я же правильно понимаю, что

если у меня есть гора эмебедингов SBERT от одного связного большого текста и я хочу свести их к одному эмбедингу, то мне надо смотреть в сторону сверток через CNN? Или есть более изящные способы добиться желаемого?

9 ответов

11 просмотров

к одному эмбеддингу привести хочешь чтобы что в итоге с ним делать? для поисковых задач хорошим представлением нескольких эмбеддингов у меня была их сумма

Konstantin-Galagan Автор вопроса
vvv
к одному эмбеддингу привести хочешь чтобы что в ит...

Для поиска по ним входящий коротких запросов

Konstantin Galagan
Для поиска по ним входящий коротких запросов

то есть ты хочешь условно страницу текста искать по короткому предложению?

Konstantin Galagan
Для поиска по ним входящий коротких запросов

А зачем тебе вообще агрегировать эмбеддинги для этого поиска? Если запрос достаточно простой, такой, что на него отвечает небольшой фрагмент текста (предложение или большой абзац), то проще всего заматчить эмбеддинг вопроса напрямую с эмбеддингом этого фрагмента. А если вопрос достаточно сложный и требует сопоставления информации из нескольких разных фрагментов текста, то скорее всего при вычислении и агрегировании эмбеддингов эта инорфмация потеряется, и ответ удастся найти только приблизительно (скорее всего - с точностью до темы или ключевых слов).

David Dalé
А зачем тебе вообще агрегировать эмбеддинги для эт...

Это вообще отдельная боль - собирать информацию для ответа по разным местам в базе. Embeddings создают только иллюзию работы на простеньких вопросах Какие есть решения, которые нормально работают на практике? Из того, что показывает потенциал пока: (1) выделять ключевые сущности, потом искать по ним, ранжировать найденные фрагменты и последовательно сливать в ответ (answer refinement) (2) делать разные индексы, начиная с FTT и до графов по структуре документа. Потом результаты ранжировать и см пункт 1 (3) ждать обещанного контекста в миллион tokens от OpenAI

Vic
Мы 2 делаем

А сколько времени на запрос уходит, если не секрет?

Rinat Abdullin
Это вообще отдельная боль - собирать информацию дл...

Можно выдернуть эмбединги токенов поискового запроса, а потом полученные span.start и span.end кластеризовать на расстоянии от друг друга. И если рядом находятся слова в ответе, то у них разница будет в len() или больше. И если больше, чем len, тогда будет дистанция от центроида

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
Продолжая диалог про свифт в проде – сейчас возник вопрос в активном наборе бекендеров. В основном в нашей компании мы фанаты Java Spring и полностью ей довольны. Однако найм ...
Guseyn
27
Кто-нибудь знает, как считается нагрузка на цпу? И что такое вообще "нагрузка на цпу"? вот, например, есть у цпу какой-то clock, настроенный на 3 ГГц --- Что значит "нагрузка...
Toideng
15
Можно ли написать свою библиотеку "socket" на каком либо языке ассемблера с нуля не используя сишние библиотеки ? Или это самоубийство ?
123🪐
15
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
{!! $modx->runSnippet( 'multiTV',[ 'tvName'=>'slider-main1', 'docid'=>'[*id*]', 'tplConfig'=>'', 'display'=>'4', 'offset'=>'0', 'rows'=>'all', 'ra...
Роман С
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
PopOs or Linux Mint for a noob starter? Also do you have any articles on how to safely dual boot Windows 10 alongside it? I've heard there are a bunch problems that can occur...
Senator
14
Карта сайта