Abra um arquivo na codificação apropriada automaticamente [duplicado]
Esta pergunta já tem uma resposta aqui:
Como determinar a codificação do texto? 8 respostasEstou lidando com alguns problemas em alguns arquivos sobre a codificação. Recebemos arquivos de outra empresa e precisamos lê-los (os arquivos estão no formato csv)
Estranhamente, os arquivos parecem estar codificados em UTF-16. Estou conseguindo fazer isso, mas preciso abri-los usando ocodecs
módulo e especificando a codificação desta maneir
ENCODING = 'utf-16'
with codecs.open(test_file, encoding=ENCODING) as csv_file:
# Autodetect dialect
dialect = csv.Sniffer().sniff(descriptor.read(1024))
descriptor.seek(0)
input_file = csv.reader(descriptor, dialect=dialect)
for line in input_file:
do_funny_things()
Mas, assim como sou capaz de obter o dialeto de uma maneira mais agnóstica, estou pensando que será ótimo ter uma maneira de abrir automaticamente os arquivos com sua codificação adequada, pelo menos todos os arquivos de texto. Existem outros programas, como o vim, que conseguem iss
Alguém conhece uma maneira de fazer isso em python 2.6?
PD: Espero que isso seja resolvido no Python 3, pois todas as strings são Unicode ...