Primeiro, tokenizo o conteúdo do arquivo em frases e depois chamo Stanford NER em cada uma das frases. Mas esse processo é realmente lento. Eu sei que se eu chamar o conteúdo de todo o arquivo, se for mais rápido, mas estou chamando em cada frase, pois quero indexar cada frase antes e depois do reconhecimento NE.

st = NERTagger('stanford-ner/classifiers/english.all.3class.distsim.crf.ser.gz', 'stanford-ner/stanford-ner.jar')
for filename in filelist:
    sentences = sent_tokenize(filecontent) #break file content into sentences
    for j,sent in enumerate(sentences): 
        words = word_tokenize(sent) #tokenize sentences into words
        ne_tags = st.tag(words) #get tagged NEs from Stanford NER

Isso provavelmente se deve a chamadasst.tag() para cada frase, mas existe alguma maneira de fazê-la funcionar mais rapidamente?

EDITAR

O motivo pelo qual desejo marcar frases separadas é que quero escrever frases em um arquivo (como a indexação de sentenças), para que, dada a sentença marcada em um estágio posterior, eu possa obter a sentença não processada (também estou fazendo lematização aqui). )

formato de arquivo:

(número_do_entrado, origem_do_entrevista, NE_e_lemmatizado_sentência)