Suchergebnisse für Anfrage "apache-spark"
So klassifizieren Sie Bilder mit Spark und Caffe
ch verwende Caffe, um Bilder zu klassifizieren. Kann ich MAC OS X, Pyhton, verwende Im Moment weiß ich, wie ich mit Caffe mit Spark Python eine Liste von Bildern klassifizieren kann, aber wenn ich es schneller machen möchte, möchte ich ...
Was ist der Unterschied zwischen spark-submit und pyspark?
Wenn ich pyspark starte und dann diesen Befehl ausführe: import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')Alles ist A-ok. Wenn ich jedoch versuche, dasselbe über die Kommandozeile und mit Spark-Submit zu tun, erhalte ich ...
Apache Spark löst NullPointerException aus, wenn ein fehlendes Feature gefunden wird
Ich habe ein bizarres Problem mit PySpark beim Indizieren von Stringspalten in Features. Hier ist meine tmp.csv-Datei: x0,x1,x2,x3 asd2s,1e1e,1.1,0 asd2s,1e1e,0.1,0 ,1e3e,1.2,0 bd34t,1e1e,5.1,1 asd2s,1e3e,0.2,0 bd34t,1e2e,4.3,1 wo ich einen ...
Welche Funktion im Funken wird verwendet, um zwei RDDs durch Schlüssel zu kombinieren
Sagen wir, ich habe die folgenden zwei RDDs mit den folgenden Schlüsselpaarwerten. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ]un rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ]Nun möchte ich sie durch Schlüsselwerte ...
Wie sortiere ich eine RDD in Scala Spark?
Spark-Methode sortByKey lesen: sortByKey([ascending], [numTasks]) When called on a dataset of (K, V) pairs where K implements Ordered, returns a dataset of (K, V) pairs sorted by keys in ascending or descending order, as specified in the boolean ...
Wie kann das Modell spark.ml ohne DataFrames / SparkContext bewertet werden?
it Spark MLLib würde ich ein Modell bauen (wieRandomForest), und dann konnte es außerhalb von Spark ausgewertet werden, indem das Modell geladen und @ verwendet wurdpredict darauf vorbei einen Vektor von Funktionen. Es scheint wie mit Spark ...
Wie werden die Vorkommen jedes einzelnen Werts für jede Spalte in einem Datenrahmen gezählt?
edf.select("x").distinct.show() zeigt die unterschiedlichen Werte, die in @ vorhanden six Spalte vonedf DataFrame. Gibt es eine effiziente Methode, um auch anzuzeigen, wie oft diese unterschiedlichen Werte im Datenrahmen vorkommen? (Zähle für ...
Spark Ausführung der TB-Datei im Speicher
Nehmen wir an, ich habe eine TB-Datei. Jeder Knotenspeicher in einem Cluster mit zehn Knoten umfasst 3 GB. Ich möchte die Datei mit spark verarbeiten. Aber wie passt der One TeraByte in den Speicher? Wird es eine Speicherausnahme ...
Spark Word2Vec Beispiel mit text8 file
Ich versuche, dieses Beispiel von apache.spark.org aus auszuführen (Code unten und das gesamte Tutorial hier:https: //spark.apache.org/docs/latest/mllib-feature-extraction.htm [https://spark.apache.org/docs/latest/mllib-feature-extraction.html]) ...
SparkContext in einem Begleitobjekt nicht serialisierbar
Ich versuche derzeit, eine Anwendung für maschinelles Lernen zu erweitern, die Scala und Spark verwendet. Ich verwende die Struktur eines früheren Projekts von Dieterich Lawson, das ich auf Github @ gefunden hab https: ...