Всем привет, такой вопрос: есть база предложений (от коротких в

Question

Всем привет, такой вопрос: есть база предложений (от коротких в

3 токена до длинных в 50). Нужно сделать по ней поисковый индекс. Хотел сделать на эмбедингах, чтобы учитывать схожие слова без подготовки словаря синонимов. Взял тиниберт от Давида и одну из ANN. Все работает отлично, ограничение по скорости только в формировании эмбединга с модели Давида, но там быстро. Проблема в другом - когда в запрос приходит только одно или два ключевых слова, то поиск перестает работать нормально (что логично), так как эмбединг сильно отличается от эмбедингов целых предложений в индексе. Что посоветуете?

#nlp #programming #russian

0

30.03.2022

5 ответов

22 просмотра

Сергей Шульга Автор вопроса

Синонимы, близкие по смыслу слова. На них он не будет работать. А так бы конечно взял любой из классики обратного индекса

0

30.03.2022

Nikolay Karelin

Сергей Шульга
Синонимы, близкие по смыслу слова. На них он не бу...

Еще вариант, делать два поиска - через BERT и классический и потом объединить результаты. Или установить порог в допустим 4-5 слов, после которого включать BERT. Третий вариант - вместо нейронки брать усреднение эмбеддингов слов, возможно с IDF-взвешиванием, там вектор предложения будет близок к векторам отдельных слов.

0

30.03.2022

Сергей Шульга Автор вопроса

Nikolay Karelin
Еще вариант, делать два поиска - через BERT и клас...

Как вариант, да. Идея с порогом больше нравится

0

30.03.2022

Сергей Шульга Автор вопроса

Nikolay Karelin
Еще вариант, делать два поиска - через BERT и клас...

Спасибо, попробую!

0

30.03.2022