NLTK WordNetLemmatizer: não Lemmatizing conforme o esperado
Estou tentando lematizar todas as palavras em uma frase com o WordNetLemmatizer do NLTK. Eu tenho várias frases, mas estou usando a primeira frase para garantir que estou fazendo isso corretamente. Aqui está o que eu tenho:
train_sentences[0]
"Explanation Why edits made username Hardcore Metallica Fan reverted? They vandalisms, closure GAs I voted New York Dolls FAC. And please remove template talk page since I'm retired now.89.205.38.27"
Então agora eu tento lematizar cada palavra da seguinte maneira:
lemmatizer = WordNetLemmatizer()
new_sent = [lemmatizer.lemmatize(word) for word in train_sentences[0].split()]
print(new_sent)
E eu volto:
['Explanation', 'Why', 'edits', 'made', 'username', 'Hardcore', 'Metallica', 'Fan', 'reverted?', 'They', 'vandalisms,', 'closure', 'GAs', 'I', 'voted', 'New', 'York', 'Dolls', 'FAC.', 'And', 'please', 'remove', 'template', 'talk', 'page', 'since', "I'm", 'retired', 'now.89.205.38.27']
Algumas perguntas:
1) Por que "edições" não são transformadas em "edição"? É certo que se eu fizerlemmatizer.lemmatize("edits")
eu volteiedits
mas fiquei surpreso.
2) Por que os "vandalismos" não são transformados em "vandalismo"? Este é muito surpreendente, pois se eu fizerlemmatizer.lemmatize("vandalisms")
, Eu volteivandalism
...
Qualquer esclarecimento / orientação seria incrível!