Всем привет! есть группа текстов разделённая по темам, нужно для

Question

Всем привет! есть группа текстов разделённая по темам, нужно для

каждой темы вытащить слова наиболее характеризующие каждую тему. Уверен что такую задачу уже решали миллион раз, мож есть какие готовые пайплайны? А то сходу не могу придумать что-то умнее чем применить лемметизацию\стеммер, выкинуть стопслова и посчитать топ слов по количеству по темам..

0

01.09.2019

4 ответов

17 просмотров

Марк

Простой вариант: from rutermextract import TermExtractor term_extractor = TermExtractor() list_theme = [] for term in term_extractor(text): list_theme.append(term.normalized) theme_text = ' | '.join(list_theme[:3])

0

01.09.2019

Andrey Zakharov

Можно взять feature importance у простых или деревянных моделей, из классификатора

0

01.09.2019

mik

а в рамках безумной идеи глянуть например на фиче импотенс рандом фореста?

0

01.09.2019

Dmitry · Accepted Answer

Dmitry

А почему бы и нет?

0

01.09.2019

Похожие чаты

Всем привет! есть группа текстов разделённая по темам, нужно для

4 ответов

Похожие вопросы