Suchergebnisse für Anfrage "apache-spark"
Spark: Wie ordne ich Python mit benutzerdefinierten Scala- oder Java-Funktionen zu?
Nehmen wir zum Beispiel an, mein Team hat Python als Referenzsprache für die Entwicklung mit Spark ausgewählt. Aus Performancegründen möchten wir später jedoch spezielle Scala- oder Java-spezifische Bibliotheken entwickeln, um sie mit unserem ...
Unterschiedlicher Treibercode und Arbeitscode in Apache Spark
Woher wissen wir im Apache Spark-Programm, welcher Teil des Codes im Treiberprogramm und welcher Teil des Codes auf Worker-Knoten ausgeführt wird? it freundlichen Grüß
log4j-Eigenschaftendatei, die in jar in spark app gebündelt ist, wird ignoriert
Ich muss eine benutzerdefinierte log4j.properties von src / resources lesen und das funktioniert nicht try{ val inStream :InputStream= className.this.getClass.getClassLoader.getResourceAsStream("log4j.properties"); logCfgProps.load(inStream) } ...
Wie können wir zwei Spark-SQL-Datenrahmen mit einem SQL-ähnlichen „LIKE“ -Kriterium verbinden?
Wir verwenden die mit Spark 1.3.1 verbundenen PySpark-Bibliotheken. Wir haben zwei Datenrahmen,documents_df := {document_id, document_text} undkeywords_df := {keyword}. Wir möchten die beiden Datenrahmen verbinden und einen resultierenden ...
Spark nutzt nicht den gesamten Core, während LinearRegressionwithSGD ausgeführt wird
Ich verwende Spark auf meinem lokalen Computer (16 G, 8 CPU-Kerne). Ich habe versucht, ein lineares Regressionsmodell für einen Datensatz mit einer Größe von 300 MB zu trainieren. Ich habe die CPU-Statistiken und auch die laufenden Programme ...
Access Array-Spalte in Spark
Ein Spark-DataFrame enthält eine Spalte vom Typ Array [Double]. Es löst eine ClassCastException-Ausnahme aus, wenn ich versuche, sie in einer map () -Funktion wiederherzustellen. Der folgende Scala-Code generiert eine Ausnahme. case class ...
doing spark-shell with mlib, Fehler: object jblas ist kein Mitglied des Pakets org
In Spark-Shell, wenn ich @ exectimport org.jblas.DoubleMatrix, es wird "error: object jblas is no member of package org" auf dem RHEL auslösen. igentlich habe ich über "jblas" gegoogelt und "gfortran" von @ ...
Wie verwende ich Analytic / Window-Funktionen in Spark Java?
Ich versuche, die Analyse- / Fensterfunktion last_value in Spark Java zu verwenden. Netezza Query:select sno, name, addr1, addr2, run_dt, last_value(addr1 ignore nulls) over (partition by sno, name, addr1, addr2, run_dt order by beg_ts , end_ts ...
Leere Partitionen aus Spark RDD entfernen
Ich rufe Daten von HDFS ab und speichere sie in einem Spark-RDD. Spark erstellt die Anzahl der Partitionen basierend auf der Anzahl der HDFS-Blöcke. Dies führt zu einer großen Anzahl leerer Partitionen, die auch während der ...
Zugriff auf HDFS HA vom Spark-Job (UnknownHostException-Fehler)
ch habe einen Apache Mesos 0.22.1-Cluster (3 Master und 5 Slaves), auf dem Cloudera HDFS (2.5.0-cdh5.3.1) in HA-Konfiguration und Spark 1.5.1-Framework ausgeführt wir Wenn ich versuche, kompilierte HdfsTest.scala-Beispiel-App per Funk ...