Como determinar a codificação de arquivo correta para uso com read.fwf (ou use uma solução alternativa para remover caracteres não-conformes)
Eu tentei a abordagem na seguinte pergunta e ainda estou preso.
Como detectar a codificação correta para read.csv?
Este código a seguir deve ser reproduzível ... Alguma idéia? Eu prefiro não usar scan () ou readLines porque eu tenho usado este código com sucesso para dados ACS em nível de estado no passado ....
Meu outro pensamento é editar o arquivo de texto antes de importá-lo. No entanto, armazeno os arquivos compactados e uso um script para descompactar e acessar os dados. Ter que editar o arquivo fora do ambiente R seria realmente prejudicar esse processo. Desde já, obrigado!
Filename <- "g20095us.txt"
Url <- "http://www2.census.gov/acs2005_2009_5yr/summaryfile/2005-2009_ACSSF_By_State_By_Sequence_Table_Subset/UnitedStates/All_Geographies_Not_Tracts_Block_Groups/"
Widths <- c(6,2,3,2,7,1,1,1,2,2,3,5,5,6,1,5,4,5,1,3,5,5,5,3,5,1,1,5,3,5,5,5,2,3,
3,6,3,5,5,5,5,5,1,1,6,5,5,40,200,6,1,50)
Classes <- c(rep('character',4),'integer',rep('character',47))
Names <- c('fileid','stusab','sumlev','geocomp','logrecno','us','region','division',
'statece','state','county','cousub','place','tract','blkgrp','concit',
rep('blank',14),'ua',rep('blank',11),'ur',rep('blank',4),'geoid','name',rep('blank',3))
GeoHeader <- read.fwf(paste0(Url,Filename),widths=Widths,
colClasses=Classes,col.names=Names,fill=TRUE,strip.white=TRUE)
Quatro linhas do arquivo "g2009us.txt" abaixo. O segundo "Canoncito" está causando os problemas. Os outros arquivos no download são csv, mas este é de largura fixa e necessário para identificar geografias de interesse (a organização dos dados não é muito intuitiva).
ACSSF US251000000964 2430 090 25100US2430090 Cameron Capítulo, Reserva da Nação Navajo e Reserva Off-Land Confiança, AZ-NM-UTS ACSSF US251000000965 2430 092 25100US2430092 Cañoncito capítulo, reserva de nação Navajo e fora-reserva confiança terra, AZ - NM - UT ACSSF US251000000966 2430 095 25100US2430095 Casamero Lake Capítulo, Reserva da Nação Navajo e Reserva Off-Land Confiança, AZ-NM-UTS ACSSF US251000000967 2430 105 25100US2430105 Chi Chil Tah Capítulo, Reserva da Nação Navajo e Reserva Off-Land Confiança, AZ - NM --UT