DataFrame grande y persistente en pandas
Estoy explorando el cambio a python y pandas como usuario de SAS desde hace mucho tiempo.
Sin embargo, al ejecutar algunas pruebas hoy, me sorprendió que a Python se le acabara la memoria cuando intentabapandas.read_csv()
Un archivo csv de 128mb. Tenía alrededor de 200,000 filas y 200 columnas de datos en su mayoría numéricos.
Con SAS, puedo importar un archivo csv a un conjunto de datos SAS y puede ser tan grande como mi disco duro.
¿Hay algo análogo enpandas
?
Regularmente trabajo con archivos grandes y no tengo acceso a una red informática distribuida.