Doctest falha devido a u principal no Unicode
Estou escrevendo um doctest para uma função que gera uma lista de palavras tokenizadas.
r'''
>>> s = "This is a tokenized sentence s\u00f3"
>>> tokenizer.tokenize(s0)
['This', 'is', 'a', 'tokenized', 'sentence', 'só']
'''
UsandoPython3.4 meu teste passa sem problemas.
UsandoPython2.7 Eu recebo:
Expected:
['This', 'is', 'a', 'tokenized', 'sentence', 'só']
Got:
[u'This', u'is', u'a', u'tokenized', u'sentence', u's\xf3']
Meu código precisa funcionar no Python3.4 e no Python2.7. Como posso resolver este problema?