Здравствуйте, подскажите пожалуйста, в какую сторону копать, если есть набор

Question

Здравствуйте, подскажите пожалуйста, в какую сторону копать, если есть набор

текстовых документов, каждому документу соответствует какой то класс, самих классов больше 100 и есть подозрения, что часть классов повторяет друг друга, так что хотелось бы как то определить, какие классы очень близки, что бы объединить их в один. Что тут можете посоветовать?

#database #programming #russian #software

0

11.02.2022

6 ответов

15 просмотров

Valentin🎲 Автор вопроса

Sergei K
Tf idf и косинусное расстояние как бейзлайн вполне...

спасибо

0

11.02.2022

Valentin🎲 Автор вопроса

Sergei K
Tf idf и косинусное расстояние как бейзлайн вполне...

а как это использовать для нахождения наиболее близких классов? Считать среднее tf-idf по всем документам класса, а потом уже между ними смотреть косинусное расстояние?

0

11.02.2022

Sergei K

Valentin🎲
а как это использовать для нахождения наиболее бли...

ты можешь просто все документы одной темы сжать в один большой и посчитать по нему tfidf, а потом взять косинусное расстояние от каждого класса до каждого

0

11.02.2022

Eugene

А насколько объемные сами документы и сколько их?

0

11.02.2022

Valentin🎲 Автор вопроса

Eugene
А насколько объемные сами документы и сколько их?

тыщи 2-3 слов, документов тыщ 10

0

11.02.2022