текста предложений? Чтобы отсечь всю "воду", оставив 5-6 слов. Например - "Сегодня я долго гулял по прекрасному старому парку, находясь при этом в прекрасном расположении духа" => "Сегодня я гулял по парку"
Вам стоит попробовать работу с Spacy Она позволит вам произвести синтаксичесий анализ
После вы сможете выделить подлежащее и сказуемое и использовать их для выделения сути предложения
Да, я думал об этом. Просто только лишь подлежащего и сказуемого может быть недостаточно. Поэтому я и хотел узнать, может кто-то решал похожие задачи с помощью языковых моделей, зиро-шот или фью-шот методами
Так тоже можно, правда придется учесть много разных вариантов упрощения (собирать датасет из фраз представленных частями речи)
Да вы правы Я не исключаю возможные другие методы Было бы интересно узнать как можно ещё решить эту задачу
Где-то были и готовые модели, но сейчас сходу не вспомню, занимался темой года два назад. А так есть https://github.com/dialogue-evaluation/RuSimpleSentEval Там вроде и датасеты имеются. Ну и можно поискать пейперы по названию "RuSimpleSentEval".
Спасибо. Сейчас поищу
Можно также попробовать рассмотреть как задачу суммаризации и попробовать предобученные модели, например от SberDevices: https://sbercloud.ru/ru/datahub/rugpt3family/summarizer
Эта модель доступна только через API, или ее можно скачать?
Я склоняюсь к ответу, что только через API
Жаль. Попробую другие суммаризаторы тогда
Обсуждают сегодня