Возможно, кто-то работал с token classification для японского языка? Я по

Question

Возможно, кто-то работал с token classification для японского языка? Я по

классике использовала transformers. Взяла roberta-xml, т.к. там удобная токенизация и можно нормально делать alignment по оффсетам. Но результат так себе. То есть не плохой, но по ощущениям если бы была чисто японская языковая модель, а не мультиязычная - результат был бы процентов на 10 лучше. Хочется взять какой-то BERT, заточенный чисто под японский язык. Но при этом чтобы можно было сделать alignment лэйблов, а то с wordpiece токенизацией не понятно как это можно сделать.

#nlp #programming #russian

0

22.06.2022

4 ответов

18 просмотров

Майя Автор вопроса

Та парсинг документов, кастомные entities извлекать. Разметка на уровне оффсетов

0

22.06.2022

Майя Автор вопроса

Проблема в tokenizer, хотелось бы чтобы он возвращал оффсеты, но чисто японские модели с их токенайзерами, на huggingface оффсеты не возвращают, а мультиязычные по качеству оставляют желать лучшего

0

22.06.2022

David Dalé

Майя
Проблема в tokenizer, хотелось бы чтобы он возвращ...

BertTokenizer в hf (и некоторые другие токенайзеры тоже) поддерживает получение строки, уже кем-то разбитого на слова (is_split_into_words=True),и соответственно запоминает word_ids для токенов. А в "чисто японских моделях" какой токенайзер используется? SentencePiece?

0

22.06.2022

Сергей Шульга · Accepted Answer

Сергей Шульга

Майя
Та парсинг документов, кастомные entities извлекат...

Ну я бы танцевал от основной задачи. Потому как в японском намного проще грамматический разбор, перплексия крайне низкая. И хоть и два алфавита, но катакана используется в строго определенных случаях. Где-то у меня была моделька ner и парсер зависимостей на этот прекрасный язык. Надо поискать.

0

22.06.2022

170 похожих чатов

Возможно, кто-то работал с token classification для японского языка? Я по

4 ответов

Похожие вопросы