Todos: Estoy buscando aportes / orientación / e ideas de diseño. Mi objetivo es encontrar una forma ágil pero confiable de tomar la carga XML de un HTTP POST (sin problemas con esta parte), analizarla y generar un proceso relativamente longevo de forma asincrónica.

El proceso generado es intensivo en la CPU y durará aproximadamente tres minutos. Al principio no espero mucha carga, pero existe una clara posibilidad de que necesite escalar horizontalmente a través de los servidores a medida que el tráfico aumenta.

Realmente me gusta la pila Celery / Django para este uso: es muy intuitiva y tiene todo el marco incorporado para lograr exactamente lo que necesito. Empecé por ese camino con entusiasmo, pero pronto descubrí que mi pequeño servidor en la nube de 512 MB de RAM tenía solo 100 MB de memoria libre y comencé a sentir que me dirigía a los problemas una vez que comencé a trabajar con todos mis procesos funcionando a toda velocidad. Además, tiene varias partes móviles: RabbitMQ, MySQL, cerleryd, ligthttpd y el contenedor django.

Puedo aumentar absolutamente el tamaño de mi servidor, pero espero mantener mis costos al mínimo en esta fase temprana de este proyecto.

Como alternativa, estoy considerando utilizar Twisted para la gestión de procesos, así como un agente de perspectiva para los sistemas remotos, en caso de que sean necesarios. Pero para mí, al menos, aunque retorcido es brillante, siento que me estoy inscribiendo para mucho en ese camino: escribir protocolos, administrar la devolución de llamadas, realizar un seguimiento de los estados de trabajo, etc. Los beneficios aquí son bastante obvios: excelente rendimiento , muchas menos partes móviles y una huella de memoria más pequeña (nota: necesito verificar la parte de memoria). Estoy muy sesgado hacia Python por esto, es mucho más agradable para mí que las alternativas :)

Apreciaría mucho cualquier perspectiva sobre esto. Me preocupa comenzar con el camino equivocado, y rehacer esto más tarde con tráfico de producción será doloroso.

-Mate