La mejor arquitectura para una consulta de más de 30 horas

Tengo un problema interesante que resolver. Uno de mis clientes me tiene desarrollando un programa de análisis de existencias con cerca de 50 años de datos de existencias para casi mil símbolos. He desarrollado una serie de filtros que se aplican en un día determinado para ver si algo se cae para un intercambio.

Queremos ejecutar este filtro para cada día de datos que tenemos para cada stock. Básicamente su informe de tipo de fecha de inicio y finalización. Sin embargo, lleva 6 minutos filtrar cada semana para cada símbolo. Estamos calculando unas 40 horas más o menos para ejecutar el informe en todo nuestro conjunto de datos.

El requisito principal es que mi cliente pueda hacer cualquier cosa en la aplicación desde cualquier computadora en cualquier lugar (viaja mucho), por lo que estamos basados en el navegador.

Para resolver este problema, escribí un método asíncrono que ejecuta este informe, sin embargo, el temporizador de inactividad del grupo de aplicaciones matará el trabajo. No quiero tener que comenzar a ajustar los tiempos de espera para toda la aplicación para admitir este informe (vamos a hacer muchos de estos, ya que cada escenario de stock deberá ejecutarse en todo nuestro conjunto de datos para el análisis antes de que se use para comercio activo).

¿Alguien tiene alguna idea general o experiencia con una arquitectura web que admita procesos astronómicos ultra largos?

Gracias

Respuestas a la pregunta(10)

Su respuesta a la pregunta