Cython: ¿Cómo mover objetos grandes sin copiarlos?
Utilizo Cython para envolver el código C ++ y exponerlo a Python para el trabajo interactivo. Mi problema es que necesito leer gráficos grandes (varios gigabytes) del archivo y terminan dos veces en la memoria. ¿Alguien puede ayudarme a diagnosticar y resolver este problema?
Mi envoltorio Cython para la clase de gráficos se ve así:
cdef extern from "../src/graph/Graph.h":
cdef cppclass _Graph "Graph":
_Graph() except +
_Graph(count) except +
count numberOfNodes() except +
count numberOfEdges() except +
cdef class Graph:
"""An undirected, optionally weighted graph"""
cdef _Graph _this
def __cinit__(self, n=None):
if n is not None:
self._this = _Graph(n)
# any _thisect which appears as a return type needs to implement setThis
cdef setThis(self, _Graph other):
#del self._this
self._this = other
return self
def numberOfNodes(self):
return self._this.numberOfNodes()
def numberOfEdges(self):
return self._this.numberOfEdges()
Si es necesario devolver un gráfico de Python, debe crearse vacío y luegosetThis
método se utiliza para establecer el nativo_Graph
ejemplo. Esto sucede, por ejemplo, cuando unGraph
Se lee del archivo. Este es el trabajo de esta clase:
cdef extern from "../src/io/METISGraphReader.h":
cdef cppclass _METISGraphReader "METISGraphReader":
_METISGraphReader() except +
_Graph read(string path) except +
cdef class METISGraphReader:
""" Reads the METIS adjacency file format [1]
[1]: http://people.sc.fsu.edu/~jburkardt/data/metis_graph/metis_graph.html
"""
cdef _METISGraphReader _this
def read(self, path):
pathbytes = path.encode("utf-8") # string needs to be converted to bytes, which are coerced to std::string
return Graph(0).setThis(self._this.read(pathbytes))
El uso interactivo se ve así:
>>> G = graphio.METISGraphReader().read("giant.metis.graph")
Después de que se realiza la lectura del archivo y se utiliza la memoria X GB, hay una fase en la que obviamente se realiza la copia y, a continuación, se utiliza la memoria 2X GB. Se libera toda la memoria cuandodel G
se llama.
¿Dónde está mi error que hace que el gráfico se copie y exista dos veces en la memoria?