Ich bin neu in Spark SQL, kenne aber das Framework für die Ausführung von Hive-Abfragen. Ich möchte verstehen, wie Spark SQL-Abfragen ausführt (technische Beschreibung).

Wenn ich unter Befehl feuere

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("select count(distinct(id)) from test.emp").collect

In Hive wird es in einen Map-Reduce-Job konvertiert, aber wie wird es in Spark ausgeführt?

Wie kommt der Bienenstock-Metastore ins Bild?

Danke im Voraus