Posible duplicado:
¿Existe una forma eficiente y rápida de cargar archivos de gran json en python?

Así que tengo algunos archivos JSON codificados bastante grandes. El más pequeño es de 300MB, pero este es el más pequeño. El resto son varios GB, desde aproximadamente 2 GB hasta 10 GB +.

Parece que me quedo sin memoria cuando intento cargar el archivo con Python. Actualmente solo estoy haciendo algunas pruebas para ver aproximadamente cuánto tiempo tomará esto para ver a dónde ir desde aquí. Aquí está el código que estoy usando para probar:

<code>from datetime import datetime
import json

print datetime.now()

f = open('file.json', 'r')
json.load(f)
f.close()

print datetime.now()
</code>

No es demasiado sorprendente, Python me da un error de memoria. Parece que json.load () llama a json.loads (f.read ()), que primero intenta descargar todo el archivo en la memoria, lo que claramente no va a funcionar.

¿De alguna manera puedo resolver esto limpiamente?

Sé que esto es viejo, pero no creo que sea un duplicado. Mientras que la respuesta es la misma, la pregunta es diferente. En el "duplicado", la pregunta es cómo leer archivos grandes de manera eficiente, mientras que esta pregunta trata sobre archivos que ni siquiera caben en la memoria. No se requiere eficiencia.