Suchergebnisse für Anfrage "apache-spark-ml"
Wie kann das Modell spark.ml ohne DataFrames / SparkContext bewertet werden?
it Spark MLLib würde ich ein Modell bauen (wieRandomForest), und dann konnte es außerhalb von Spark ausgewertet werden, indem das Modell geladen und @ verwendet wurdpredict darauf vorbei einen Vektor von Funktionen. Es scheint wie mit Spark ...
Wie erhalte ich Klassifizierungswahrscheinlichkeiten von MultilayerPerceptronClassifier?
Dies scheint am meisten mit Folgendem zu tun zu haben:Wie wird die Wahrscheinlichkeit pro Instanz in Klassifikationsmodellen in ...
Wie kann auf einzelne Bäume in einem von RandomForestClassifier (spark.ml-version) erstellten Modell zugegriffen werden?
Wie greife ich auf einzelne Bäume in einem Modell zu, das von Spark ML's @ generiert wurd RandomForestClassifier [http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.classification.RandomForestClassifier] ? Ich verwende ...
Spark ML - Speichern Sie OneVsRestModel
Ich bin gerade dabei, meinen Code umzugestalten, um die Vorteile von @ zu nutze DataFrames, Estimators und Pipelines [http://spark.apache.org/docs/latest/ml-guide.html]. Ich habe ursprünglich @ verwendMLlib Multiclass ...
Parameter für implizites pyspark.ml-ALS-Matrixfaktorisierungsmodell über pyspark.ml einstellen CrossValidator
Ich versuche, die Parameter eines ALS-Matrixfaktorisierungsmodells zu optimieren, das implizite Daten verwendet. Dazu versuche ich, mit pyspark.ml.tuning.CrossValidator ein Parameterraster zu durchlaufen und das beste Modell auszuwählen. Ich ...
Wie kann ich eine Spalte als kategoriale Funktion in einem DataFrame für die Verwendung in ml @ deklariere
Wie kann ich deklarieren, dass eine bestimmte Spalte in meinemDataFrame enthält kategoriale Informationen? Ich habe einen Spark SQLDataFrame die ich aus einer datenbank geladen habe. Viele der Spalten in diesemDataFrame haben kategoriale ...
Wie erhalte ich mit CrossValidator Präzision / Rückruf für das Training des NaiveBayes-Modells mit Spark
Supossed Ich habe eine Pipeline wie diese: val tokenizer = new Tokenizer().setInputCol("tweet").setOutputCol("words") val hashingTF = new HashingTF().setNumFeatures(1000).setInputCol("words").setOutputCol("features") val idf = new ...
LinearRegression scala.MatchError:
Ich erhalte einen scala.MatchError, wenn ich einen ParamGridBuilder in Spark 1.6.1 und 2.0 verwende. val paramGrid = new ParamGridBuilder() .addGrid(lr.regParam, Array(0.1, 0.01)) .addGrid(lr.fitIntercept) .addGrid(lr.elasticNetParam, Array(0.0, ...
Was bedeuten die Spalten "rawPrediction" und "Probability" von DataFrame in Spark MLlib?
Nachdem ich ein LogisticRegressionModel trainiert habe, habe ich die Testdaten-DF damit transformiert und die Vorhersage-DF erhalten. Und wenn ich dann prediction.show () aufrufe, lauten die Namen der Ausgabespalten:[label | features | ...
Spark Scala: Konvertieren von DataFrame [vector] in DataFrame [f1: Double,…, fn: Double)]
Ich habe gerade Standard Scaler verwendet, um meine Funktionen für eine ML-Anwendung zu normalisieren. Nachdem ich die skalierten Features ausgewählt habe, möchte ich diese zurück in einen Datenrahmen mit Doppelwerten konvertieren, obwohl die ...