Панды read_stata () с большими файлами .dta

Я работаю с файлом Stata .dta размером около 3,3 гигабайта, поэтому он большой, но не слишком большой. Я заинтересован в использовании IPython и пытался импортировать файл .dta с помощью Pandas, но что-то шаткое происходит. Мой компьютер имеет 32 гигабайта оперативной памяти, и попытка загрузить файл .dta приводит к тому, что вся используемая память (через ~ 30 минут) и мой компьютер отключаются. Это не «правильно», так как я могу открыть файл в R с помощью read.dta () из стороннего пакета без проблем, и работа с файлом в Stata - это нормально. Код, который я использую:

%time myfile = pd.read_stata(data_dir + 'my_dta_file.dta')

и я использую IPython в программе Enthought Canopy. Причина «% времени» заключается в том, что я заинтересован в том, чтобы сравнить это с read.dta () в R.

Мои вопросы:

Есть ли что-то, что я делаю неправильно, в результате чего у Панд возникают проблемы?Есть ли обходной путь для передачи данных в фрейм данных Pandas?

Ответы на вопрос(5)

Ваш ответ на вопрос