в двух случаях:
1) Чтобы сразу захватить много родственных языков. Бывает так, что слова пишутся разными буквами, а звучат и выглядят одинаково.
Ещё это позволяет, например, лучше улавливать эмодзи. Вот например, не "видя" символы, такой финт ушами не понять:
ツ - 'tsu' シ - 'shi'. Вот как оно должно быть связано с улыбкой?
Кстати, надо попробовать заставить ChatGPT рисовать смайлики китаканой или чем-то таким.
https://arxiv.org/abs/2004.00849
Вот тут про подобную систему рассказывают.
2) Чтобы сразу работать с изображениями. Например перевод комиксов и различных инструкций, в обход всяких OCR. У разных текстов может быть разное направление чтения (японские иероглифы так-то сверху вниз читают), да и стилизация в тех же комиксах может быть очень разнообразная. Работа сразу с картинкой так сказать упрощает пайплайн.
Катаканой. И если не в комиксах (да и там иногда), то кандзи читают слева направо. Старым письмом пишут в основном плакаты и вывески. Так что у вас достаточно специфичный домен.
В любом случае, не всегда связка OCR и LLM будет удобна. КМК, это какой-то костыль, который существует не от хорошей жизни, а из-за недостатков наших технологий.
Обсуждают сегодня