Sou iniciante com problemas para decodificar várias dezenas de arquivos CSV com números + caracteres chineses (simplificados) para UTF-8 no Python 2.7.

Como não conheço a codificação dos arquivos de entrada, tentei todas as codificações possíveis que conheço - GB18030, UTF-7, UTF-8, UTF-16, UTF-16 e UTF-32 (LE & BE). Além disso, por uma boa medida, GBK e GB3212, embora esses devam ser um subconjunto de GB18030. Todos os UTF param quando chegam aos primeiros caracteres chineses. As outras codificações param em algum lugar da primeira linha, exceto GB18030. Eu pensei que essa seria a solução, porque ela leu os primeiros arquivos e os decodificou. Parte do meu código, lendo linha por linha, é:

line = line.decode("GB18030")

Os 2 primeiros arquivos que tentei decodificar funcionaram bem. No meio da terceiraArquivo, Python cospe

UnicodeDecodeError: 'gb18030' codec can't decode bytes in position 168-169: illegal multibyte sequence

Neste arquivo, existem cerca de 5 desses erros em um milhão de linhas.

Abri o arquivo de entrada em um editor de texto e verifiquei quais caracteres estavam apresentando os erros de decodificação, e os primeiros tinham sinais de Euro em uma coluna específica dos arquivos CSV. Estou bastante confiante de que estes são erros de digitação, então eu gostaria de excluir os caracteres do Euro. Eu gostaria de examinar os tipos de erros de codificação, um por um; Gostaria de me livrar de todos os erros do euro, mas não quero apenas ignorar os outros até que eu os veja primeiro.

Editar: eu useichardet que deu GB2312 como a codificação com confiança .99 para todos os arquivos. Eu tentei usar o GB2312 para decodificar o que dava:

UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 108-109: illegal multibyte sequence