análisis / escaneo a través de un archivo xml de 17 gb
Estoy tratando de analizar el archivo de volcado de stackoverflow (Posts.xml-17gb). Es de la forma:
<posts>
<row Id="15228715" PostTypeId="1" />
.
<row Id="15228716" PostTypeId="2" ParentId="1600647" LastActivityDate="2013-03-05T16:13:24.897"/>
</posts>
Tengo que 'agrupar' cada pregunta con sus respuestas. Básicamente encuentre una pregunta (post-tipo = 1) encuentre sus respuestas usando parentId de otra fila y guárdela en db.
Intenté hacer esto utilizando querypath (DOM), pero siguió saliendo (139). Supongo que debido al gran tamaño del archivo, mi PC no pudo manejarlo, incluso con un gran intercambio.
Consideré xmlreader, pero como lo veo usando xmlreader, el programa estaría leyendo el archivo muchas veces (buscar pregunta, buscar respuestas, repetir muchas veces) y, por lo tanto, no es viable. Me equivoco ?
¿Hay algún otro método / forma?
¡Ayuda!
Es un análisis de una vez.