Vazamento de memória na biblioteca ndb do Google
Eu acho que há um vazamento de memória nondb
biblioteca, mas não consigo encontrar onde.
Existe uma maneira de evitar o problema descrito abaixo?
Você tem uma idéia mais precisa dos testes para descobrir onde está o problema?
Foi assim que reproduzi o problema:
Criei um aplicativo minimalista do Google App Engine com 2 arquivos.app.yaml
:
application: myapplicationid
version: demo
runtime: python27
api_version: 1
threadsafe: yes
handlers:
- url: /.*
script: main.APP
libraries:
- name: webapp2
version: latest
main.py
:
# -*- coding: utf-8 -*-
"""Memory leak demo."""
from google.appengine.ext import ndb
import webapp2
class DummyModel(ndb.Model):
content = ndb.TextProperty()
class CreatePage(webapp2.RequestHandler):
def get(self):
value = str(102**100000)
entities = (DummyModel(content=value) for _ in xrange(100))
ndb.put_multi(entities)
class MainPage(webapp2.RequestHandler):
def get(self):
"""Use of `query().iter()` was suggested here:
https://code.google.com/p/googleappengine/issues/detail?id=9610
Same result can be reproduced without decorator and a "classic"
`query().fetch()`.
"""
for _ in range(10):
for entity in DummyModel.query().iter():
pass # Do whatever you want
self.response.headers['Content-Type'] = 'text/plain'
self.response.write('Hello, World!')
APP = webapp2.WSGIApplication([
('/', MainPage),
('/create', CreatePage),
])
Fiz upload do aplicativo, chamado/create
uma vez.
Depois disso, cada chamada para/
aumenta a memória usada pela instância. Até parar devido ao erroExceeded soft private memory limit of 128 MB with 143 MB after servicing 5 requests total
.
Exemplo de gráfico de uso de memória (você pode ver o crescimento e as falhas de memória):
Nota: O problema pode ser reproduzido com outra estrutura que nãowebapp2
, gostarweb.py