Suchergebnisse für Anfrage "apache-spark"
Wie führe ich Spark in Docker aus?
Apache Spark kann in Docker nicht ausgeführt werden. Wenn ich versuche, von meinem Fahrer aus mit dem Funkenmeister zu kommunizieren, erhalte ich den nächsten Fehler: 15/04/03 13:08:28 WARN TaskSchedulerImpl: Der ursprüngliche Job hat ...
Anhängen einer Spalte an den Datenrahmen in Apache Spark 1.3
Ist es möglich und welche Methode ist am effizientesten, um dem Datenrahmen eine Spalte hinzuzufügen? Insbesondere kann die Spalte als Zeilen-IDs für den vorhandenen Datenrahmen dienen. In einem vereinfachten Fall, wenn ich aus einer Datei ...
Spezifiziere Optionen für den von pyspark @ gestarteten J
Wie / wo werden die JVM-Optionen verwendet, die vom Pyspark-Skript beim Starten der JVM verwendet werden, mit der die Verbindung hergestellt wird? Ich bin speziell daran interessiert, JVM-Debugging-Optionen anzugeben, ...
Wann sind Akkus wirklich zuverlässig?
Ich möchte einen Akku verwenden, um Statistiken zu den Daten zu sammeln, die ich in einem Spark-Job bearbeite. Idealerweise würde ich das tun, während der Job die erforderlichen Transformationen berechnet, aber da Spark Aufgaben in verschiedenen ...
Der einfachste Weg, Python-Abhängigkeiten auf Spark-Executor-Knoten zu installieren?
Ich verstehe, dass Sie mit Python Spark-Programmen einzelne Dateien als Abhängigkeiten senden können. Aber was ist mit vollwertigen Bibliotheken (z. B. Numpy)? Hat Spark eine Möglichkeit, einen bereitgestellten Paketmanager (z. B. pip) ...
Kann ich mehrere Spark-Versionen in CDH installieren?
Ich verwende cdh5.1.0, auf dem bereits ein Standardfunken installiert ist. Ich möchte jedoch Spark 1.3 verwenden. Kann ich diese Version auch auf cdh5.1.0 installieren? Wie ist es möglich, diese einzurichten? Wird die neue Version von spark auch ...
Erstellen und Anzeigen eines Funken-Datenrahmens aus einer einfachen JSON-Datei
Der folgende einfache json DataFrame-Test funktioniert einwandfrei, wenn Spark im lokalen Modus ausgeführt wird. Hier ist das Scala-Snippet, aber ich habe es auch in Java und Python geschafft, dasselbe zu tun: sparkContext.addFile(jsonPath) val ...
Spark Kill Running Application
Ich habe eine laufende Spark-Anwendung, in der alle Kerne belegt sind, auf denen meinen anderen Anwendungen keine Ressourcen zugewiesen werden. Ich habe schnell nachgeforscht und Leute haben vorgeschlagen, YARN kill oder / bin / spark-class zu ...
custom log using spark
Ich versuche, ein benutzerdefiniertes Protokoll mit spark-submit zu konfiguriere driver: -DlogsPath=/var/opt/log\ ...
Serializing RDD
Ich habe eine RDD, die ich zu serialisieren und dann durch Deserialisieren zu rekonstruieren versuche. Ich versuche zu sehen, ob dies in Apache Spark möglich ist. static JavaSparkContext sc = new JavaSparkContext(conf); static SerializerInstance ...