Tengo un conjunto de archivos de datos grandes (1M filas x 20 cols). Sin embargo, solo me interesan unas 5 columnas de esos datos.

Creo que puedo facilitarme las cosas creando copias de estos archivos con solo las columnas de interés, por lo que tengo archivos más pequeños para trabajar para el procesamiento posterior.

Mi plan era leer el archivo en un marco de datos y luego escribir en el archivo csv.

He estado buscando leer archivos de datos grandes en fragmentos en un marco de datos.

Sin embargo, no he podido encontrar nada sobre cómo escribir los datos en un archivo csv en fragmentos.

Esto es lo que estoy intentando ahora, pero esto no agrega el archivo csv:

with open(os.path.join(folder, filename), 'r') as src:
    df = pd.read_csv(src, sep='\t',skiprows=(0,1,2),header=(0), chunksize=1000)
    for chunk in df:
        chunk.to_csv(os.path.join(folder, new_folder,
                                  "new_file_" + filename), 
                                  columns = [['TIME','STUFF']])