Suchergebnisse für Anfrage "apache-spark"
Wie visualisiere / plotte ich einen Entscheidungsbaum in Apache Spark (PySpark 1.4.1)?
Ich verwende Apache Spark Mllib 1.4.1 (PySpark, die Python-Implementierung von Spark), um einen Entscheidungsbaum auf der Grundlage meiner LabeledPoint-Daten zu erstellen. Der Baum wird korrekt generiert und ich kann ihn auf dem ...
Wie kann ich programmgesteuert in SparkSQL eine Verbindung zu einem Hive-Metastore herstellen?
Ich verwende HiveContext mit SparkSQL und versuche, eine Verbindung zu einem Remote-Hive-Metastore herzustellen. Die einzige Möglichkeit, den Hive-Metastore festzulegen, besteht darin, die Datei hive-site.xml in den Klassenpfad aufzunehmen (oder ...
Was ist der Unterschied zwischen spark.eventLog.dir und spark.history.fs.logDirectory?
In Spark, was ist der Unterschied zwischen dem Ereignisprotokollverzeichnis und dem Protokollverzeichnis des Verlaufsservers? spark.eventLog.dir hdfs:///var/log/spark/apps spark.history.fs.logDirectory hdfs:///var/log/spark/apps
spark submit java.lang.ClassNotFoundException
Ich versuche, meine eigene Spark-Anwendung auszuführen, aber wenn ich den Befehl spark-submit verwende, wird folgender Fehler angezeigt: Users/_name_here/dev/sp/target/scala-2.10/sp_2.10-0.1-SNAPSHOT.jar ...
Kann Apache Spark ohne Hadoop ausgeführt werden?
Gibt es Abhängigkeiten zwischenFunk und Hadoop? Wenn nicht, gibt es irgendwelche Funktionen, die ich vermissen werde, wenn ich laufeFunk ohne Hadoop?
Spark: Schreiben von DataFrame als komprimiertes JSON
Apache Spark'sDataFrameReader.json() kann gzippte JSONlines-Dateien automatisch verarbeiten, aber es scheint keine Möglichkeit zu geben, an @ zu gelangeDataFrameWriter.json(), um komprimierte JSONlines-Dateien zu schreiben. Die zusätzliche ...
So exportieren Sie Daten von Spark SQL nach CSV
Dieser Befehl funktioniert mit HiveQL: insert overwrite directory '/data/home.csv' select * from testtable;Aber mit Spark SQL erhalte ich einen Fehler mit einemorg.apache.spark.sql.hive.HiveQl Stack-Trace: java.lang.RuntimeException: ...
PhoenixOutputFormat nicht gefunden, wenn ein Spark-Job auf CDH 5.4 mit Phoenix 4.5 ausgeführt wird
Ich konnte Phoenix 4.5 auf Cloudera CDH 5.4 konfigurieren, indem ich den Quellcode neu kompilierte.sqlline.py funktioniert gut, aber es gibt Probleme mit Funken. spark-submit --class my.JobRunner \ --master yarn --deploy-mode client \ --jars `ls ...
wie man ein Diagramm aus Tupeln in graphx erstellt und die Knoten danach benennt?
Einiger Kontext kann gefunden werdenHie [https://stackoverflow.com/questions/31928133/how-to-create-a-graph-from-arrayany-any-using-graph-fromedgetuples/31929807?noredirect=1#comment51792711_31929807] , die Idee ist, dass ich ein Diagramm aus ...
PySpark, Schema über JSON-Datei importieren
tbschema.json sieht aus wie das [{"TICKET":"integer","TRANFERRED":"string","ACCOUNT":"STRING"}]Ich lade es mit folgendem Code >>> df2 = sqlContext.jsonFile("tbschema.json") >>> ...