Suchergebnisse für Anfrage "apache-spark"
Wie verbinde ich PyCharm mit PySpark?
Ich bin neu mit Apache Spark und anscheinend habe ich Apache-Spark mit Homebrew in meinem MacBook installiert: Last login: Fri Jan 8 12:52:04 on console user@MacBook-Pro-de-User-2:~$ pyspark Python 2.7.10 (default, Jul 13 2015, 12:05:58) [GCC ...
Spark: Bewältigen Sie leistungsintensive Befehle wie collect (), groupByKey (), reductionByKey ()
Ich weiß, dass einige Funkenaktionen wiecollect() Leistungsprobleme verursachen. It wurde in @ zitieDokumentatio [http://spark.apache.org/docs/latest/programming-guide.html#transformations] Um alle Elemente des Treibers auszudrucken, kann man ...
spark-submit: --jars funktioniert nicht
Ich erstelle ein Metriksystem für den Spark-Streaming-Job. In diesem System werden die Metriken in jedem Executor erfasst. Daher muss in jedem Executor eine Metrikquelle (eine Klasse, die zum Erfassen von Metriken verwendet wird) initialisiert ...
Spark Ausführung der TB-Datei im Speicher
Nehmen wir an, ich habe eine TB-Datei. Jeder Knotenspeicher in einem Cluster mit zehn Knoten umfasst 3 GB. Ich möchte die Datei mit spark verarbeiten. Aber wie passt der One TeraByte in den Speicher? Wird es eine Speicherausnahme ...
Spark: Spalte bedingt zu Datenrahmen hinzufügen
Ich versuche meine Eingabedaten zu übernehmen: A B C -------------- 4 blah 2 2 3 56 foo 3Und fügen Sie am Ende eine Spalte hinzu, je nachdem, ob B leer ist oder nicht: A B C D -------------------- 4 blah 2 1 2 3 0 56 foo 3 1Ich kann dies ...
Dateien lesen, die vom Treiber mit Spark-Submit gesendet wurden
Ich sende einen Spark-Auftrag zur Ausführung auf einem Remote-Cluster, indem ich @ ausführ spark-submit ... --deploy-mode cluster --files some.properties ...Ich möchte den Inhalt des @ lessome.properties Datei von derTreibe code, d. h. vor ...
Submitting Spark App als Garnjob von Eclipse und Spark Context
Ich kann bereits einreichenlocal Spark-Jobs (in Scala geschrieben) aus meiner Eclipse-IDE. Ich möchte jedoch meinen Spark-Kontext (in meiner Anwendung) so ändern, dass der Auftrag mit Yarn als Ressourcenmanager an meinen Remote-Cluster gesendet ...
Fehler beim Ausführen von Scala-Konstrukten mit Spark 1.5.2 und Scala 2.11.7
Ich habe eine einfache Scala-Objektdatei mit folgendem Inhalt: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object X { def main(args: Array[String]) { val params = Map[String, ...
Strip- oder Regex-Funktion in Spark 1.3 Dataframe
Ich habe einen Code aus PySpark 1.5, den ich leider rückwärts auf Spark 1.3 portieren muss. Ich habe eine Spalte mit alphanumerischen Elementen, möchte aber nur die Ziffern. Ein Beispiel für die Elemente in 'old_col' von 'df' ist: '125 Bytes' In ...
Mit pyspark eine Verbindung zu PostgreSQL herstellen
Ich versuche mit pyspark eine Verbindung zu einer Datenbank herzustellen und verwende den folgenden Code: sqlctx = SQLContext(sc) df = sqlctx.load( url = "jdbc:postgresql://[hostname]/[database]", dbtable = "(SELECT * FROM talent LIMIT 1000) as ...