Eu tenho um conjunto de arquivos de dados grandes (1 milhão de linhas x 20 cols). No entanto, apenas cinco colunas desses dados são do meu interesse.

Eu acho que posso facilitar as coisas para mim criando cópias desses arquivos apenas com as colunas de interesse, para que eu tenha arquivos menores com os quais trabalhar no pós-processamento.

Meu plano era ler o arquivo em um dataframe e depois gravar no arquivo csv.

Eu estive procurando ler grandes arquivos de dados em pedaços em um dataframe.

No entanto, não consegui encontrar nada sobre como gravar os dados em um arquivo csv em pedaços.

Aqui está o que estou tentando agora, mas isso não acrescenta o arquivo csv:

with open(os.path.join(folder, filename), 'r') as src:
    df = pd.read_csv(src, sep='\t',skiprows=(0,1,2),header=(0), chunksize=1000)
    for chunk in df:
        chunk.to_csv(os.path.join(folder, new_folder,
                                  "new_file_" + filename), 
                                  columns = [['TIME','STUFF']])