Suchergebnisse für Anfrage "apache-spark-mllib"
Spark Word2vec Vektor Mathematik
Ich war auf der Suche nachBeispie [http://spark.apache.org/docs/latest/mllib-feature-extraction.html#example] der Spark-Site für Word2Vec: val input = sc.textFile("text8").map(line => line.split(" ").toSeq) val word2vec = new Word2Vec() val ...
Abstand anpassen Formular von K-means in Apache Spark Python
etzt verwende ich K-means zum Clustering und folgedieses Tutorial [http://spark.apache.org/docs/latest/mllib-clustering.html] und API [https://spark.apache.org/docs/1.0.0/api/python/pyspark.mllib.clustering-module.html] . Aber ich möchte eine ...
Spark Mlib FPGrowth-Job schlägt mit Speicherfehler fehl
Ich habe einen ziemlich einfachen Anwendungsfall, aber möglicherweise eine sehr große Ergebnismenge. Mein Code macht folgendes (auf Pyspark Shell): from pyspark.mllib.fpm import FPGrowth data ...
SPARK, ML, Tuning, CrossValidator: Zugriff auf die Metriken
Um einen NaiveBayes-Klassifikator für mehrere Klassen zu erstellen, verwende ich einen CrossValidator, um die besten Parameter in meiner Pipeline auszuwählen: val cv = new CrossValidator() ...
Wie kann ich mein Empfehlungsergebnis verbessern? Ich benutze Funken ALS implizit
Zunächst habe ich eine Verwendungshistorie der Benutzer-App. Beispielsweise user1, app1, 3 (Startzeiten) user2, app2, 2 (Startzeiten) user3, app1, 1 (Startzeiten) Ich habe grundsätzlich zwei Forderungen: Empfehlen Sie jedem Benutzer eine ...
Umwandlung einer Vektorspalte in einem Datenrahmen zurück in eine Arrayspalte
Ich habe einen Datenrahmen mit zwei Spalten, von denen eine (dist genannt) ein dichter Vektor ist. Wie kann ich es wieder in eine Array-Spalte mit ganzen Zahlen konvertieren. +---+-----+ | id| dist| +---+-----+ |1.0|[2.0]| |2.0|[4.0]| ...
Vergleichen der Merkmale von Testdaten mit den Zugdaten nach Auswahl der Merkmale in spark
Ich arbeite an Scala. Ich habe eine große Frage, ChiSqSelector scheint die Dimension erfolgreich zu reduzieren, aber ich kann nicht identifizieren, welche Features reduziert wurden, was geblieben war. Woher weiß ich, welche Funktionen reduziert ...
Wie kann das Modell spark.ml ohne DataFrames / SparkContext bewertet werden?
it Spark MLLib würde ich ein Modell bauen (wieRandomForest), und dann konnte es außerhalb von Spark ausgewertet werden, indem das Modell geladen und @ verwendet wurdpredict darauf vorbei einen Vektor von Funktionen. Es scheint wie mit Spark ...
Spark ML - Speichern Sie OneVsRestModel
Ich bin gerade dabei, meinen Code umzugestalten, um die Vorteile von @ zu nutze DataFrames, Estimators und Pipelines [http://spark.apache.org/docs/latest/ml-guide.html]. Ich habe ursprünglich @ verwendMLlib Multiclass ...
Vorhersagen der Wahrscheinlichkeiten von Klassen im Fall von Gradient Boosting-Bäumen in Spark mithilfe der Baumausgabe
Es ist bekannt, dass GBTs in Spark Ihnen ab sofort vorausgesagte Bezeichnungen geben. Ich dachte daran, vorhergesagte Wahrscheinlichkeiten für eine Klasse zu berechnen (sagen wir alle Instanzen, die unter ein bestimmtes Blatt fallen) Die ...