.Net framework para administrar procesos en ejecución en segundo plano en máquinas separadas
Tengo una aplicación asp.mvc que reside en un servidor. Desde esta aplicación, quiero iniciar un proceso que es una operación un poco larga y será una operación de uso intensivo de recursos.
Entonces, lo que quiero hacer es tener un agente de usuario como 3 que estará allí en 3 máquinas y este agente de usuario usará los recursos de sus respectivas máquinas solamente.
Al igual que en Hadoop, tenemos nodos maestros y clúster en los que las tareas se ejecutan en el clúster individual y hay 1 nodo maestro que realiza un seguimiento de todos esos clústeres.
En Azure, tenemos máquinas virtuales en las que se ejecutan tareas y, si es necesario, Azure puede escalar automáticamente horizontalmente haciendo girar la nueva instancia para acelerar la tarea.
Por lo tanto, quiero crear una infraestructura como esta donde pueda enviar mi tarea a 3 agentes de usuario desde la aplicación mvc y mi aplicación hará un seguimiento de estos agentes, como qué agente está libre, cuál está ocupado, qué no funciona de esta manera.
Me gustaría recibir el progreso de cada uno de este agente de usuario y mostrarlo en mi aplicación MVC.
¿Hay algún marco en .net desde el que pueda administrar estas operaciones de ejecución en segundo plano (seguimiento, inicio, detención, etc.) o cuál debería ser el enfoque para esto?
Actualización: No quiero poner un montón de servidores para estas operaciones de larga duración y, además, quiero hacer un seguimiento de este proceso de larga duración también como lo que están haciendo, dónde está el error, etc.
Los siguientes son el enfoque que estoy pensando y no sé cuál tendrá más sentido:
1) Instale el Servicio de Windows en forma de agentes de computadora 2-3 en las instalaciones para aprovechar los recursos de resp y abrir una conexión tcp / ip con estos agentes a menos y hasta que se complete el largo proceso de ejecución.
2) Use hangfire para ejecutar este proceso de larga ejecución fuera del hilo de IIS pero supongo que esto cargará el servidor.
Me gustaría saber los posibles problemas de los enfoques anteriores y si hay enfoques mejores que este.