Se eu criar um documento e adicionar um campo que seja armazenado e analisado, como posso ler esse campo novamente como uma lista de tokens? Eu tenho o seguinte:

            Document doc = new Document();
            doc.add(new Field("url", fileName, Store.YES, Index.NOT_ANALYZED));
            doc.add(new Field("text", fileContent, Store.YES, Index.ANALYZED));
            // add the document to the index
            writer.addDocument(doc);

Então, o fileContext é uma String contendo muito texto. É analisado pelo qual é tokenizado quando é armazenado no índice. No entanto, como posso obter esses tokens? Posso recuperar o documento do índice depois que ele é armazenado e posso ler o campo "texto" do documento, mas isso é retornado como uma seqüência de caracteres. Gostaria de receber os tokens, se possível. Meu 'escritor' é uma instância de IndexWriter e usa um StandardAnalyzer. Qualquer ponteiro seria muito bem-vindo.

Muito obrigad