Suchergebnisse für Anfrage "apache-spark"
Spark-Ausnahme: Task beim Schreiben von Zeilen fehlgeschlagen
Ich lese Textdateien und konvertiere sie in Parkettdateien. Ich mache es mit Spark-Code. Aber wenn ich versuche, den Code auszuführen, erhalte ich folgende Ausnahme org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 ...
wie man das trainierte beste Modell von einem Crossvalidator erhält
Ich habe eine Pipeline mit einem DecisionTreeClassifier (dt) wie diesem erstellt val pipeline = new Pipeline().setStages(Array(labelIndexer, featureIndexer, dt, labelConverter))Dann habe ich diese Pipeline als Schätzer in einem CrossValidator ...
Wie kann auf einzelne Bäume in einem von RandomForestClassifier (spark.ml-version) erstellten Modell zugegriffen werden?
Wie greife ich auf einzelne Bäume in einem Modell zu, das von Spark ML's @ generiert wurd RandomForestClassifier [http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.classification.RandomForestClassifier] ? Ich verwende ...
Caching in Spark
Eine Funktion ist definiert, um eine RDD zu transformieren. Daher wird die Funktion für jedes Element in der RDD einmal aufgerufen. Die Funktion muss einen externen Webdienst aufrufen, um Referenzdaten nachzuschlagen, die als Parameterdaten vom ...
Spark ML - Speichern Sie OneVsRestModel
Ich bin gerade dabei, meinen Code umzugestalten, um die Vorteile von @ zu nutze DataFrames, Estimators und Pipelines [http://spark.apache.org/docs/latest/ml-guide.html]. Ich habe ursprünglich @ verwendMLlib Multiclass ...
. / spark-shell startet nicht richtig (spark1.6.1-bin.hadoop2.6 version)
Ich habe diese Spark-Version installiert: spark-1.6.1-bin-hadoop2.6.tgz. Nun wenn ich mit @ fun./spark-shell Befehl Ich bekomme diese Probleme (es zeigt viele Fehlerzeilen, so dass ich nur einige, die wichtig scheinen, platziere) Cleanup action ...
Scala-Spark Groupby dynamisch aufrufen und mit Parameterwerten agg
Ich möchte eine benutzerdefinierte Gruppierungs- und Aggregatfunktion schreiben, um benutzerdefinierte Spaltennamen und benutzerdefinierte Aggregationszuordnungen abzurufen.Ich kenne die Spaltennamen und die Aggregationszuordnung nicht im Voraus. ...
Arbeiten mit jdbc jar in pyspark
Ich muss aus einer Postgres-SQL-Datenbank in Pyspark lesen. Ich weiß, dass dies zuvor gefragt wurde, wie z. B.Hie [https://stackoverflow.com/questions/29669420/not-able-to-connect-to-postgres-using-jdbc-in-pyspark-shell] , ...
Ist Spark-Streaming funktioniert sowohl mit "cp" als auch mit "mv"
Ich verwende Spark-Streaming Mein Programm liest ständig Streams aus einem Hadoop-Ordner. Das Problem ist, dass der Spark-Job gestartet wird, wenn ich ihn in meinen Hadoop-Ordner kopiere (Hadoop fs -copyFromLocal), aber wenn ich ihn verschiebe ...
Verursacht eine flatMap in spark ein Shuffle?
Verhält sich flatMap in spark wie die Kartenfunktion und verursacht daher kein Mischen oder löst ein Mischen aus. Ich vermute, es verursacht Schlurfen. Kann das jemand bestätigen?