Такой вопрос, есть текстовый файл, в котором находится несколько типов

Question

Такой вопрос, есть текстовый файл, в котором находится несколько типов

документов (акт сдачи-приемки, счёт-фактура, договор купли-продажи, приложения к нему и т.д.). Как это разделить на отдельные файлы? Что посоветуете? Перечень всех возможных документов известен.

#nlp #programming #russian

0

10.08.2021

7 ответов

21 просмотр

Сергей Шульга Автор вопроса

Да, задача как раз положить отдельно

0

11.08.2021

Alexander Fedorenko

ИМХО самый простой способ. суть идеи - для пустых форм (бланков документов) считаете мешок слов. Проверяете на всякий случай, что нет одинаковых мешков слов и вот вам критерий для типа. По каждому документу считаете мешок слов и сверяете с мешками слов, которые посчитали для пустых бланков.

0

11.08.2021

Сергей Шульга Автор вопроса

Это позволяет типизировать документы, но не решает проблему деления на документы. Если у меня идут два документа одного типа подряд, то такой подход не сработает.

0

11.08.2021

Artyom Artyom

Может быть через мешки / similarity строить на заголовках , последних n токенах каждого документа , а по условию что между [0:n-1] и n упаковывать в файл с шапкой и последними токенами .

0

11.08.2021

Nikolay Karelin

Для разделения каждая страница становится документом ;)

0

11.08.2021

Alexander Fedorenko

Тогда вам стоит обучить классификатор строк вашего исходного текстового файла. От разметки строк не уйти. Обучение строительство на парах строка из вашего текстового файла и соответствующая строка из Бланка(пустой формы) данного документа. После работы классификатора по строкам, вам останется лишь сгруппировать строки в документы

0

12.08.2021

Olga Bystrova · Accepted Answer

Если каждый документ лежит на новой странице, то можно с помощью бинарного классификатора (является ли текст на новой странице продолжением документа на предыдущей странице) сегментировать один файл на несколько, но понадобится разметка для обучения. Если задача ещё в том, чтобы отдельно положить счета-фактуры, отдельно акты и т.д., то получившийся набор документов классифицировать по шапке документа. На ods выступали со схожей задачей из ВТБ осенью.

170 похожих чатов

Такой вопрос, есть текстовый файл, в котором находится несколько типов

7 ответов

Похожие вопросы