HILO: ¿Cuál es la diferencia entre el número de ejecutores y los núcleos de ejecutor en Spark?

Estoy aprendiendo Spark en AWS EMR. En el proceso, trato de entender la diferencia entre el número de ejecutores (- num-ejecutores) y los núcleos de ejecutores (- ejecutor-núcleos). ¿Alguien puede decirme aquí?

Además, cuando intento enviar el siguiente trabajo, recibo un error:

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 5   --executor-memory 1g -–conf spark.yarn.submit.waitAppCompletion=false wordcount.py s3://test/spark-example/input/input.txt s3://test/spark-example/output21

Error: Unrecognized option: -–conf

Respuestas a la pregunta(1)

Su respuesta a la pregunta