Suchergebnisse für Anfrage "apache-spark-mllib"
Apache Spark - MlLib - Kollaboratives Filtern
Ich versuche, MlLib für meine kolloborative Filterung zu verwenden. In meinem Scala-Programm tritt der folgende Fehler auf, wenn ich es in Apache Spark 1.0.0 ausführe. 14/07/15 16:16:31 WARN NativeCodeLoader: Unable to load native-hadoop ...
Drucken der ClusterID und ihrer Elemente mit Spark KMeans algo.
Ich habe dieses Programm, das den MSSE of Kmeans-Algorithmus auf Apache-Spark ausgibt. Es werden 20 Cluster generiert. Ich versuche, die ClusterID und die Elemente zu drucken, die der jeweiligen ClusterID zugewiesen wurden. Wie durchlaufe ich die ...
apache spark MLLib: Wie erstelle ich beschriftete Punkte für Zeichenketten-Features?
ch versuche, mit Spark's MLLib einen NaiveBayes-Klassifikator zu erstellen, der eine Reihe von Dokumenten als Eingabe verwende Ich möchte einige Dinge als Features definieren (d. H. Autoren, explizite Tags, implizite Schlüsselwörter, ...
So konvertieren Sie org.apache.spark.rdd.RDD [Array [Double]] in Array [Double], das von Spark MLlib benötigt wird
Ich versuche zu implementierenKMeans using Apache Spark. val data = sc.textFile(irisDatasetString) val parsedData = data.map(_.split(',').map(_.toDouble)).cache() val clusters = KMeans.train(parsedData,3,numIterations = 20)uf dem ich den ...
Spark MLlib - trainImplizite Warnung
Ich sehe diese Warnungen immer wieder, wenn ich @ benuttrainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB.Und dann beginnt die Taskgröße zuzunehmen. Ich habe ...
';' erwartet aber "import" gefunden - Scala und Spark
Ich versuche, mit Spark und Scala zusammenzuarbeiten und eine eigenständige Anwendung zu kompilieren. Ich weiß nicht, warum ich diesen Fehler erhalte: topicModel.scala:2: ';' expected but 'import' found. [error] ...
elchen Rang hat der ALS-Algorithmus für maschinelles Lernen in Apache Spark Mlli
Ich wollte ein Beispiel für einen ALS-Algorithmus für maschinelles Lernen ausprobieren. Und mein Code funktioniert einwandfrei, allerdings verstehe ich den Parameter @ nicrank wird im Algorithmus verwendet. Ich habe folgenden Code in Java // ...
Unterschied zwischen Funken Vektoren und Scala unveränderlichen Vektor?
Ich schreibe ein Projekt für Spark 1.4 in Scala und bin gerade dabei, meine anfänglichen Eingabedaten in @ umzuwandelspark.mllib.linalg.Vectors undscala.immutable.Vector, mit dem ich später in meinem Algorithmus arbeiten möchte. Könnte jemand ...
Wie kann ein RDD mit DenseVector als Schlüssel in Spark gruppiert werden?
Ich habe eine RDD erstellt, wobei jedes Mitglied ein Schlüsselwertpaar ist und der Schlüssel ein @ isDenseVector und Wert ist einint. z.B [(DenseVector([3,4]),10), (DenseVector([3,4]),20)]etzt möchte ich nach dem Schlüssel gruppierk1: ...
Spark MLlib: Klassifikatoren für jede Datengruppe erstellen
Ich habe Vektoren (LabeledPoint-s) mit einer Gruppennummer markiert. Für jede Gruppe muss ich @ erstellein separate Logistic Regression Classifier: import org.apache.log4j.{Level, Logger} ...