Ich habe ein einfaches Programm in Spark:

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("spark://10.250.7.117:7077").setAppName("Simple Application").set("spark.cores.max","2")
    val sc = new SparkContext(conf)    
    val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")

    //first get the first 10 records 
    println("Getting the first 10 records: ")
    ratingsFile.take(10)    

    //get the number of records in the movie ratings file
    println("The number of records in the movie list are : ")
    ratingsFile.count() 
  }
}

Wenn ich versuche, dieses Programm von der Spark-Shell aus auszuführen, d. H. Ich melde mich beim Namensknoten an (Cloudera-Installation) und führe die Befehle der Reihe nach auf der Spark-Shell aus:

val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")
println("Getting the first 10 records: ")
ratingsFile.take(10)    
println("The number of records in the movie list are : ")
ratingsFile.count() 

Ich erhalte korrekte Ergebnisse, aber wenn ich versuche, das Programm von Eclipse aus auszuführen, werden dem Programm keine Ressourcen zugewiesen, und im Konsolenprotokoll wird nur Folgendes angezeigt:

WARN TaskSchedulerImpl: Der erste Job hat keine Ressourcen akzeptiert. Überprüfen Sie Ihre Cluster-Benutzeroberfläche, um sicherzustellen, dass die Mitarbeiter registriert sind und über ausreichende Ressourcen verfügen.

Auch in der Spark-Benutzeroberfläche sehe ich Folgendes:

Job läuft weiter - Spark

Auch sollte beachtet werden, dass diese Version von spark mit Cloudera installiert wurde (daher werden keine Worker-Knoten angezeigt).

Was soll ich tun, damit das funktioniert?

BEARBEITEN

Ich habe den HistoryServer überprüft und diese Jobs werden dort nicht angezeigt (auch bei unvollständigen Bewerbungen).