Stanford coreNLP - разделенные слова, игнорирующие апостроф
Я пытаюсь разбить предложение на слова, используя Stanford coreNLP. Я'У меня проблемы со словами, которые содержат апостроф.
Например, предложение: ям 24 года.
Разделяется вот так: [I] ['м] [24] [лет] [лет]
Можно ли разделить его так, используя Stanford coreNLP ?: [I 'м] [24] [лет] [лет] я '
мы пытались использовать tokenize.whitespace, но это нет разделить на другие знаки препинания, как: '?' а также ','