Не очень понятно, что такое "смысловые блоки". Предложения и абзацы являются смысловыми блоками?
Как я это понимаю , блок - несколько предложений близких между собой, по-сути абзац, наверное.
Могу предложить кластеризовать предложения, пользуясь такими критериями: 1) если в соседних предложениях много общих слов, то они относятся к одному кластеру 2) если векторные представления двух соседних предложений близки, то они относятся к одному кластеру 3) если модель coreference resolution показывает, что два соседних предложения говорят об одних и тех же объектах, то они относятся к одному кластеру Но, конечно, разбить текст по отступам гораздо проще, и, возможно, не хуже по качеству)
Я предлагаю создать ИИ, который сможет делить на абзацы)
Обсуждают сегодня