Suchergebnisse für Anfrage "apache-spark"
Spark Senden schlägt mit java.lang.NoSuchMethodError fehl: scala.Predef $. $ Conforms () Lscala / Predef $$ less $ colon $ less;
Ich verwende spark 1.3.1 vorab erstellte Version spark-1.3.1-bin-hadoop2.6.tgz Ausnahme im Thread "main" java.lang.NoSuchMethodError: scala.Predef $. $ Conforms () Lscala / Predef $ less $ colon $ less; bei org.apache.spark.util.Utils $ ...
Wie wird in Spark SQL nach Spalte in absteigender Reihenfolge sortiert?
Ich habe es versuchtdf.orderBy("col1").show(10) aber aufsteigend sortiert.df.sort("col1").show(10) wird auch in absteigender Reihenfolge sortiert. Ich habe auf stackoverflow geschaut und die Antworten, die ich gefunden habe, waren alle veraltet ...
DataFrame-ified zipWithIndex
Ich versuche, das uralte Problem des Hinzufügens einer Sequenznummer zu einem Datensatz zu lösen. Ich arbeite mit DataFrames und es scheint keinen DataFrame zu geben, der @ entsprichRDD.zipWithIndex. Andererseits funktioniert das Folgende mehr ...
Proper Weg, um ein Spark Fat Jar mit SBT zu machen
Ich brauche ein Fat Jar mit Spark, da ich einen benutzerdefinierten Knoten für Knime erstelle. Grundsätzlich ist es ein in sich geschlossenes Glas, das in Knime ausgeführt wird, und ich gehe davon aus, dass ein Fat Jar die einzige Möglichkeit ...
Lesen Sie gleichzeitig einige Parkettdateien in Spark
Ich kann einige JSON-Dateien gleichzeitig mit * (Stern) lesen: sqlContext.jsonFile('/path/to/dir/*.json')ibt es eine Möglichkeit, dasselbe für Parkett zu tun? Star funktioniert nicht.
';' erwartet aber "import" gefunden - Scala und Spark
Ich versuche, mit Spark und Scala zusammenzuarbeiten und eine eigenständige Anwendung zu kompilieren. Ich weiß nicht, warum ich diesen Fehler erhalte: topicModel.scala:2: ';' expected but 'import' found. [error] ...
Wie kann ich die Spark-Anwendung lokal debuggen?
Ich bin sehr neu im Funken und möchte nur Schritt für Schritt lernen, wie man eine Funkenanwendung lokal debuggt? Könnte jemand bitte die dazu erforderlichen Schritte detaillieren? Ich kann die simpleApp auf der spark-Website lokal über die ...
Spark - Welcher Instanztyp wird für AWS EMR-Cluster bevorzugt? [geschlossen
Ich führe einige Algorithmen für maschinelles Lernen im EMR Spark-Cluster aus. Ich bin gespannt, welche Art von Instanz ich verwenden soll, um den optimalen Preis- / Leistungsgewinn zu erziele Für das gleiche Preisniveau kann ich wählen ...
uf die Variable @LinkedHashMap kann außerhalb der foreach-Schleife nicht zugegriffen werden.
Hier ist mein Code. var link = scala.collection.mutable.LinkedHashMap[String, String]() var fieldTypeMapRDD = fixedRDD.mapPartitionsWithIndex((idx, itr) => itr.map(s => (s(8), s(9)))) fieldTypeMapRDD.foreach { i => println(i) link.put(i._1, ...
Spark - "sbt package" - "value $ ist kein Mitglied von StringContext" - Fehlendes Scala-Plugin?
Wenn "sbt package" über die Befehlszeile für eine kleine Spark Scala-Anwendung ausgeführt wird, wird in der folgenden Codezeile der Kompilierungsfehler "value $ is not a member of StringContext" angezeigt: val joined = ordered.join(empLogins, ...