Suchergebnisse für Anfrage "apache-spark"
Wie konvertiere ich die Zeile eines Scala-Datenrahmens am effizientesten in eine Fallklasse?
Wenn ich in Spark eine Zeilenklasse habe, entweder Dataframe oder Catalyst, möchte ich sie in meinem Code in eine case-Klasse konvertieren. Dies kann durch Matching von @ erfolge someRow match {case Row(a:Long,b:String,c:Double) => ...
Wie übergebe ich den Parameter -D oder die Umgebungsvariable an den Spark-Job?
Ich will es verändernTypesafe config [https://github.com/typesafehub/config] eines Spark-Jobs in einer Entwicklungs- / Produktumgebung. Mir scheint, dass der einfachste Weg, dies zu erreichen, darin besteht,-Dconfig.resource=ENVNAME zum Job. ...
Wie erstelle ich mit Scala @ eine Zeile aus einer Liste oder einem Array in Spar
Ich versuche eine Zeile zu erstellen org.apache.spark.sql.catalyst.expressions.Row) basierend auf der Benutzereingabe. Ich kann keine Zeile zufällig erstellen. Ist eine Funktion zum Erstellen einer Zeile aus @ vorhandeList oderArray. Für zB, ...
Spark-sql CLI verwendet nur 1 Executor, wenn query @ ausgeführt wi
Ich werde spark-sql cli verwenden, um die Hive-cli-Shell zu ersetzen, und ich führe den spark-sql cli mit folgendem Befehl aus: (Wir verwenden auf dem Hadoop-Garn-Cluster die bereits nach / conf kopierte hive-site.xml ) .> spark-sql Dann wird ...
Wie erstelle ich mehrere SparkContexts in einer Konsole?
Ich möchte mehr als einen SparkContext in einer Konsole erstellen. Laut einem Beitrag inMailinglist [http://apache-spark-user-list.1001560.n3.nabble.com/Multiple-SparkContexts-in-same-Driver-JVM-td20037.html#a21454] , Ich muss SparkConf.set ...
Spark kann method_descriptor nicht auswählen
Ich bekomme diese seltsame Fehlermeldung 15/01/26 13:05:12 INFO spark.SparkContext: Created broadcast 0 from wholeTextFiles at NativeMethodAccessorImpl.java:-2 Traceback (most recent call last): File "/home/user/inverted-index.py", line 78, in ...
Einfügen von Analysedaten von Spark in Postgres
Ich habe Cassandra-Datenbank, aus der ich die Daten mit SparkSQL über Apache Spark analysiert habe. Jetzt möchte ich diese analysierten Daten in PostgreSQL einfügen. Gibt es irgendwelche Möglichkeiten, dies direkt zu erreichen, abgesehen von der ...
Wie erstelle ich Spark 1.2 mit Maven (gibt java.io.IOException: Kann Programm "javac" nicht ausführen)?
Ich versuche Spark 1.2 mit Maven zu bauen. Mein Ziel ist es, PySpark mit YARN auf Hadoop 2.2 zu verwenden. Ich habe gesehen, dass dies nur möglich war, indem ich Spark mit Maven baute. Erstens, ist das wahr? Wenn dies zutrifft, wo liegt das ...
Querying Spark SQL DataFrame mit komplexen Typen
Wie kann ich eine RDD mit komplexen Typen wie Maps / Arrays abfragen? Zum Beispiel, als ich diesen Testcode schrieb: case class Test(name: String, map: Map[String, String]) val map = Map("hello" -> "world", "hey" -> "there") val map2 = ...
Aufgabe an Spark senden
Ich habe Spark auf Ubuntu 14.04 installiert und folge diesem Tutorialhttp: //blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04 [http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/] Ich ...