Как проанализировать большой файл, используя ast.literal_eval, не вызывая MemoryError? Например, файл, который я хочу проанализировать, составляет 41 МБ.

Я наблюдал за процессом и обнаружил, что python занимает больше памяти, чем 3G. Я использую 32-битную систему, так что это зависит от максимальной памяти процесса.

Почему ast.literal_eval занимает столько памяти, сколько анализирует только структуру данных? Есть ли способ уменьшить использование памяти?

Кстати, код:

import ast
file = open(file_name, 'r')
data = ast.literal_eval(file.read())
file.close()

исключение

  File "/usr/local/lib/python2.7/ast.py", line 49, in literal_eval
    node_or_string = parse(node_or_string, mode='eval')
  File "/usr/local/lib/python2.7/ast.py", line 37, in parse
    return compile(source, filename, mode, PyCF_ONLY_AST)
MemoryError

Спасибо!