Suchergebnisse für Anfrage "apache-spark"
Wie kann ich die Spark-Streaming-Anwendung ordnungsgemäß beenden?
Wie höre ich auf, Funken zu streamen? Mein Spark-Streaming-Job läuft ununterbrochen. Ich möchte auf anmutige Weise aufhören. Ich habe unten die Option zum Herunterfahren der Streaming-Anwendung ...
Was ist der Unterschied zwischen n Spark Standalone, YARN und lokalem Modus?
Spark Standalone: n diesem Modus wurde mir klar, dass Sie Ihre Master- und Worker-Knoten auf Ihrem lokalen Computer ausführe Bedeutet das, dass auf meinem lokalen Computer eine Instanz von YARN ausgeführt wird? Seit ich Spark installiert habe, ...
Spark sql wie man explodiert ohne Nullwerte zu verlieren
Ich habe einen Datenrahmen, den ich zu reduzieren versuche. Als Teil des Prozesses möchte ich es auflösen. Wenn ich also eine Spalte mit Arrays habe, wird jeder Wert des Arrays verwendet, um eine separate Zeile zu erstellen. Zum Beispiel id | ...
Value join ist kein Mitglied von org.apache.spark.rdd.RDD [(Long, T)]
Diese Funktion scheint für meine IDE gültig zu sein: def zip[T, U](rdd1:RDD[T], rdd2:RDD[U]) : RDD[(T,U)] = { rdd1 .zipWithIndex .map(_.swap) .join( rdd2 .zipWithIndex .map(_.swap)) .values }Aber wenn ich kompiliere, erhalte ich: value join ist ...
Spark RDD zu DataFrame Python
Ich versuche, die Spark-RDD in einen DataFrame zu konvertieren. Ich habe die Dokumentation und das Beispiel gesehen, in denen das Schema an @ übergeben wirsqlContext.CreateDataFrame(rdd,schema) Funktion. Aber ich habe 38 Spalten oder Felder und ...
Extrahieren Sie die Hive-Tabellenpartition in Spark - java
Gibt es in Spark eine Möglichkeit, nur die Namen der Partitionsspalten zu extrahieren? Die Problemumgehung, die ich verwende, besteht darin, "show extended table like table_name "mitHiveContext
Wie wird Spark unter YARN für die Python-Speichernutzung ausgeführt?
Nachdem ich die Dokumentation gelesen habe, verstehe ich nicht, wie Spark auf YARN den Python-Speicherverbrauch berücksichtigt. Zählt es fürspark.executor.memory, spark.executor.memoryOverhead oder wo Insbesondere habe ich eine ...
Verschachtelte Elemente in Scala Spark Dataframe umbenennen
Ich habe einen Spark Scala-Datenrahmen mit einer verschachtelten Struktur: |-- _History: struct (nullable = true) | |-- Article: array (nullable = true) | | |-- element: struct (containsNull = true) | | | |-- Id: string (nullable = true) | | | ...
So starte ich ein Skript in PySpark
Ich versuche, ein Skript in der Pyspark-Umgebung auszuführen, konnte es aber bisher nicht. Wie kann ich ein Skript wie python script.py aber in pyspark ausführen? Vielen Dan
Spark- und Cassandra-Java-Anwendung: Ausnahme im Thread "main" java.lang.NoClassDefFoundError: org / apache / spark / sql / Dataset
Ich habe eine erstaunlich einfache Java-Anwendung, die ich fast aus diesem Beispiel kopiert habe:http: //markmail.org/download.xqy? id = zua6upabiylzeetp & number = 2 [http://markmail.org/download.xqy?id=zua6upabiylzeetp&number=2] Ich wollte ...