omo lidar com utf8 na linha de comando (usando Perl ou Python
omo posso lidar com utf8 usando Perl (ou Python) na linha de comand
Estou tentando dividir os caracteres em cada palavra, por exemplo. Isso é muito fácil para textos não utf8, por exemplo:
$ echo "abc def" | perl -ne 'my @letters = m/(.)/g; print "@letters\n"' | less
a b c d e f
Mas com utf8 não funciona, é claro:
$ echo "одобрение за" | perl -ne 'my @letters = m/(.)/g; print "@letters\n"' | less
<D0> <BE> <D0> <B4> <D0> <BE> <D0> <B1> <D1> <80> <D0> <B5> <D0> <BD> <D0> <B8> <D0> <B5> <D0> <B7> <D0> <B0>
porque não conhece os caracteres de 2 byte
ambém seria bom saber como isso (isto é, processamento de linha de comando do utf8) é feito em Pytho