Estoy intentando que 2 pasos se ejecuten simultáneamente en EMR. Sin embargo, siempre obtengo el primer paso en ejecución y el segundo pendiente.

a parte de mi configuración de hilo es la siguiente:

{
    "Classification": "capacity-scheduler",
    "Properties": {
    "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalculator",
    "yarn.scheduler.capacity.maximum-am-resource-percent": "0.5"
    }
  }

Cuando ejecuto en mi Mac local, puedo ejecutar la aplicación 2 en Yarn con una configuración similar, donde los cambios son en realidad una solicitud de recursos de envío, para que coincida con la capacidad del clúster y el rendimiento requerido.

n otras palabras, My Yarn está configurado para ejecutar múltiples aplicaciones.

Por lo tanto, antes de profundizar en él, me pregunto si realmente es posible hacer que el paso se ejecute simultáneamente o solo en serie.

¿Hay otros consejos o algo específico para ejecutar en el trabajo al mismo tiempo?

Mi clúster está demasiado capacitado con respecto a lo que cada solicitud de trabajo. Por lo tanto, no entiendo por qué no puede ejecutarse simultáneamente.