In Spark gibt es drei Hauptoptionen zum Festlegen der Optionen für dasSparkConf verwendet, um das @ zu erstellSparkContext:

As Eigenschaften in der conf / spark-defaults.conf. B. die Zeile:spark.driver.memory 4gAls Argumente für Spark-Shell oder Spark-Submitz.B.,spark-shell --driver-memory 4g ...Konfigurieren Sie in Ihrem Quellcode einSparkConf -Instanz, bevor Sie sie zum Erstellen des @ verwendeSparkContext:z.B.,sparkConf.set( "spark.driver.memory", "4g" )

Bei Verwendung vonspark-shell, der SparkContext ist bereits für Sie erstellt, wenn Sie eine Shell-Eingabeaufforderung in der Variablen mit dem Namen @ erhaltesc. Wie können Sie bei Verwendung der Spark-Shell die Option 3 in der obigen Liste verwenden, um Konfigurationsoptionen festzulegen, wenn der SparkContext bereits erstellt wurde, bevor Sie die Möglichkeit haben, Scala-Anweisungen auszuführen?

Insbesondere versuche ich, Kyro-Serialisierung und GraphX zu verwenden. Die vorgeschriebene Möglichkeit, Kryo mit GraphX zu verwenden, besteht darin, die folgende Scala-Anweisung auszuführen, wenn Sie das @ anpasseSparkConf instance:

GraphXUtils.registerKryoClasses( sparkConf )

Wie mache ich das beim Laufen?spark-shell?