Si creo un documento y agrego un campo que está almacenado y analizado, ¿cómo puedo volver a leer este campo como una lista de tokens? Tengo lo siguiente:

            Document doc = new Document();
            doc.add(new Field("url", fileName, Store.YES, Index.NOT_ANALYZED));
            doc.add(new Field("text", fileContent, Store.YES, Index.ANALYZED));
            // add the document to the index
            writer.addDocument(doc);

Así que fileContext es una cadena que contiene mucho texto. Se analiza mediante el cual se tokeniza cuando se almacena en el índice. Sin embargo, ¿cómo puedo obtener estos tokens? Puedo recuperar el documento del índice después de que se almacena, y puedo leer el campo "texto" del documento, pero esto se devuelve como una cadena. Me gustaría obtener los tokens si es posible. Mi 'escritor' es una instancia de IndexWriter y usa un StandardAnalyzer. Cualquier sugerencia sería muy bienvenida.

Muchas gracia