Eu tenho um enorme arquivo simples de 100K registros cada um abrangendo 3000 colunas. Preciso remover um segmento da posição inicial do fay de dados 300 para a posição 500 antes do arquivamento. Essa é uma parte sensível dos dados que precisam ser limpos antes que eu possa arquivar. Estou procurando um awk ou sed ou qualquer comando semelhante que possa fazer o truque para mim.

Arquivo de exemplo

003133780 MORNING GLORY DR                                        SOUTHAMPTON         PA18966780 MORNING GLORY DR    
0054381303 MADISON ST                                             RADFORD             VA241411303 MADISON ST         
00586728 CONESTOGA COURT                                          CHADDS FORD         PA1931728 CONESTOGA COURT      
1852921800 SAMER RD                                               MILAN               MI481601800 SAMER RD           
192717175 EVERGREEN CIRCLE                                        HENDERSONVILLE      TN37075175 EVERGREEN CIRCLE    
213673217 EAST BRANCH                                             LONGVIEW            TX75604217 EAST BRANCH         
2490423205 NOTTAGE LANE                                           FALLS CHURCH        VA220423205 NOTTAGE LANE       
249357344 BALOGH PLACE                                            LONGWOOD            FL32750344 BALOGH PLACE        
2502811224 WILFORD HOLLOW ROAD                                    VINTON              VA241791224 WILFORD HOLLOW ROAD
277634210 AMANDA CT                                               WHITEHOUSE          TX7579119726 COPPER OAKS DRIVE 
282482507 B ST.                                                   CHESAPEAKE          VA23324507 B ST.               

Saída esperada

003133780 MORNING GLORY DR                                        SOUTHAMPTON         PA780 MORNING GLORY DR    
0054381303 MADISON ST                                             RADFORD             VA1303 MADISON ST         
00586728 CONESTOGA COURT                                          CHADDS FORD         PA28 CONESTOGA COURT      
1852921800 SAMER RD                                               MILAN               MI1800 SAMER RD           
192717175 EVERGREEN CIRCLE                                        HENDERSONVILLE      TN175 EVERGREEN CIRCLE    
213673217 EAST BRANCH                                             LONGVIEW            TX217 EAST BRANCH         
2490423205 NOTTAGE LANE                                           FALLS CHURCH        VA3205 NOTTAGE LANE       
249357344 BALOGH PLACE                                            LONGWOOD            FL344 BALOGH PLACE        
2502811224 WILFORD HOLLOW ROAD                                    VINTON              VA1224 WILFORD HOLLOW ROAD
277634210 AMANDA CT                                               WHITEHOUSE          TX19726 COPPER OAKS DRIVE 
282482507 B ST.                                                   CHESAPEAKE          VA507 B ST.               

Aqui removi o caractere entre as posições 89 e 95. Uma pequena alteração, também preciso gravar o conteúdo alterado no mesmo arquivo.

Abaixo está o script que eu tenho até agora. Estou percorrendo todos os arquivos, dividindo-os em arquivos com no máximo 20000 linhas e removendo os caracteres da posição X e Y antes do arquivamento.

para currentfilename emls -1 *.[tT][xX][tT] echo $ currentfilename tempfilename = $ {currentfilename %%. *} awk -v A = "$ tempfilename" '{filename = A "Parte"int ((NR-1) / 20000)" .txt "; print >> filename} '$ currentfilename awk' {print substr ($ 0,1,522) substr ($ 0,953) >> filename} '$ currentfilename mv $ currentfilename $ APP_ROOT / Arquivo concluído