Здравствуйте, spacy слова через дефис воспринимает как 3 токена, а

Question

Здравствуйте, spacy слова через дефис воспринимает как 3 токена, а

не 1. Попыталась написать правило, но теперь в конце знаки препинания склеиваются к токену : [окно,][кто-то]. У кого-нибудь было решение подобной проблемы, как в re можно прописать регулярное выражение?
from spacy.tokenizer import Tokenizer

pattern = r'''\w+-\w+'''
rule = re.compile(pattern)

def custom_tokenizer(nlp):
return Tokenizer(nlp.vocab, infix_finditer=rule.finditer, token_match=None)
nlp.tokenizer = custom_tokenizer(nlp)

#nlp #programming #russian

0

17.05.2023

2 ответов

7 просмотров

Anastasia Автор вопроса

Tate
в nltk есть RegexpTokenizer

да, с ним сработало, но у меня цикл по предложениям, а в NLTK неправильно распознаются, подумала на spacy делать

0

17.05.2023

Tate · Accepted Answer

Tate

в nltk есть RegexpTokenizer

0

17.05.2023

170 похожих чатов

Здравствуйте, spacy слова через дефис воспринимает как 3 токена, а

2 ответов

Похожие вопросы