аюсь выполнить 2 шага одновременно в EMR. Однако я всегда выполняю первый шаг и второй ожидающий.

Часть моей конфигурации пряжи выглядит следующим образом:

{
    "Classification": "capacity-scheduler",
    "Properties": {
    "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalculator",
    "yarn.scheduler.capacity.maximum-am-resource-percent": "0.5"
    }
  }

Когда я работаю на своем локальном Mac, я могу запустить приложение 2 на Yarn с аналогичной конфигурацией, где изменения на самом деле представляют собой запрос на отправку с использованием искры, чтобы соответствовать требуемой емкости и производительности кластера.

Другими словами, My пряжа настроена для запуска нескольких приложений.

Следовательно, прежде чем я углублюсь в это, я задаюсь вопросом, возможно ли на самом деле сделать шаг одновременно или только последовательно?

Еще есть какие-то советы или что-то конкретное, чтобы работать на работу одновременно?

Мой кластер перегружен по отношению к каждому запросу на работу. Поэтому я не понимаю, почему он не может работать одновременно.