Estoy tratando de lematizar todas las palabras en una oración con WordNetLemmatizer de NLTK. Tengo un montón de oraciones, pero solo estoy usando la primera oración para asegurarme de que estoy haciendo esto correctamente. Esto es lo que tengo:

train_sentences[0]

"Explanation Why edits made username Hardcore Metallica Fan reverted? They vandalisms, closure GAs I voted New York Dolls FAC. And please remove template talk page since I'm retired now.89.205.38.27"

Así que ahora trato de lematizar cada palabra de la siguiente manera:

lemmatizer = WordNetLemmatizer()
new_sent = [lemmatizer.lemmatize(word) for word in train_sentences[0].split()]
print(new_sent)

Y vuelvo:

['Explanation', 'Why', 'edits', 'made', 'username', 'Hardcore', 'Metallica', 'Fan', 'reverted?', 'They', 'vandalisms,', 'closure', 'GAs', 'I', 'voted', 'New', 'York', 'Dolls', 'FAC.', 'And', 'please', 'remove', 'template', 'talk', 'page', 'since', "I'm", 'retired', 'now.89.205.38.27']

Un par de preguntas:

1) ¿Por qué las "ediciones" no se transforman en "editar"? Es cierto que si lo hagolemmatizer.lemmatize("edits") Vuelvoedits pero estaba sorprendido.

2) ¿Por qué los "vandalismo" no se transforman en "vandalismo"? Este es muy sorprendente, ya que si lo hagolemmatizer.lemmatize("vandalisms"), Regresovandalism ...

Cualquier aclaración / orientación sería increíble!