?
Ярги парсером уже 2к строк
Бооооль
Кажется что для извлечения именованных сущностей важна капитализация, если ее нет, надо бы ее восстановить. Только что на конференции рассказывали, как это делать mbart-ом
Конференция - https://opentalks.ai, бизнесовая. Научная ценность довольно такая себе. Идею дообучения модели на lowercase - поддерживаю; это получится дешевле, чем восстановление капитализации. Ну и для восстановления капитализации модель всё равно косвенно должна решить задачу NER 😝
Ну если моделька по восстановлению уже готовая есть, то может и не дешевле. Но ее, как я понял, црт не выложит в паблик
Ну так-то ты и свою модельку можешь обучить: возьми любой большой корпус текстов, приведи к нижнему регистру, и пофайнтюнь модель восстанавливать оригинальные тексты. Но с точки зрения продакшна это будет такое себе: 1) модели для генерации текстов (типа BART) работают сильно медленее, чем модели для классификации токенов 2) две модели в любом случае медленнее, чем одна 3) ошибки двух моделей будут аккумулироваться
Обсуждают сегодня