Большой, постоянный DataFrame в пандах
Я изучаю возможность перехода на python и pandas как давний пользователь SAS.
Однако, выполняя некоторые тесты сегодня, я был удивлен, что питону не хватило памяти при попыткеpandas.read_csv()
128 МБ CSV-файл. В нем было около 200 000 строк и 200 столбцов в основном числовых данных.
С помощью SAS я могу импортировать CSV-файл в набор данных SAS, и он может быть размером с мой жесткий диск.
Есть ли что-то аналогичное вpandas
?
Я регулярно работаю с большими файлами и не имею доступа к распределенной вычислительной сети.