¿Cómo obtener un token de un Lucene TokenStream?
Estoy tratando de usar Apache Lucene para tokenizar, y estoy desconcertado por el proceso para obtener tokens de unTokenStream.
La peor parte es que estoy mirando los comentarios en los JavaDocs que abordan mi pregunta.
De alguna manera, unAttributeSource se supone que debe usarse, en lugar deTokens. Estoy totalmente perdido.
¿Alguien puede explicar cómo obtener información similar a un token de un TokenStream?