Подскажите какой-нибудь хороший(!) энкодер для длинных текстов на русском языке?

Question

Подскажите какой-нибудь хороший(!) энкодер для длинных текстов на русском языке?

(нужны хорошие, годные эмбедиднги для статей на 15-20 тысяч слов). где взять? чтобы без всяких усреднений обойтись и разбиения на параграфы

#nlp #programming #russian

0

13.09.2023

8 ответов

14 просмотров

miteigi nemoto

Сжимает 16к в длину 312

0

14.09.2023

miteigi nemoto

Закинул в qdrant. Копию текста по анатомии, такой же как в семантической базе. Как видно текст по химии не сильно отличается от анатомии. А текст с анатомией у него похож чуть ли не слов в слово. Хотя на входе совсем другой кусок текста. Для верности - подсунул текст в запрос по астрономии. В общем он был схож с химией на 0.8 скор. я такое симилярити не люблю

0

14.09.2023

miteigi nemoto

miteigi nemoto
Закинул в qdrant. Копию текста по анатомии, такой ...

Вот пример как модель отрабатывает. Почему нужно изучать, где это порог когда нужно отсекать. На мой взгля это противоречит самой функции симилярити и эти модели просто дурацкии для таких задач.

0

14.09.2023

Ilya Gusev

miteigi nemoto
Вот пример как модель отрабатывает. Почему нужно и...

дурацкие с точки зрения какой метрики?

0

14.09.2023

miteigi nemoto

Ilya Gusev
дурацкие с точки зрения какой метрики?

с точки зрения здравого смысла

0

14.09.2023