Suchergebnisse für Anfrage "apache-spark"
apache spark, "Fehler beim Erstellen eines lokalen Verzeichnisses"
Ich versuche, Apache-Spark auf einem kleinen eigenständigen Cluster (1 Master-Knoten und 8 Slave-Knoten) einzurichten. Ich habe die "vorgefertigte" Version von Spark 1.1.0 installiert, die auf Hadoop 2.4 aufbaut. Ich habe das kennwortlose ssh ...
Was passiert, wenn das Treiberprogramm abstürzt?
Ich verstehe, wie Worker-Knoten fehlertolerant sind, aber was passiert, wenn Ihr Treiberprogramm aus unerwarteten Gründen abstürzt? (Stromausfall / Speicherproblem usw.). Ich könnte mir vorstellen, dass Sie alle Arbeit verlieren werden, da der ...
ufen Sie JDBC auf, um innerhalb eines Spark-Jobs Impala / Hive auszuführen, und erstellen Sie eine Tabell
Ich versuche, einen Spark-Job in Scala zu schreiben, der eine JDBC-Verbindung mit Impala herstellt, und lasse mich eine Tabelle erstellen und andere Vorgänge ausführen. Wie mache ich das? Jedes Beispiel wäre eine große Hilfe. Vielen Dank
Wie funktioniert die Funktion pyspark mapPartitions?
So versuche ich Spark mit Python (Pyspark) zu lernen. Ich möchte wissen, wie die FunktionmapPartitions Arbeit. Das ist der Input und der Output, den es gibt. Ich konnte kein richtiges Beispiel aus dem Internet finden. Nehmen wir an, ich habe ein ...
Was ist der Unterschied zwischen spark-submit und pyspark?
Wenn ich pyspark starte und dann diesen Befehl ausführe: import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')Alles ist A-ok. Wenn ich jedoch versuche, dasselbe über die Kommandozeile und mit Spark-Submit zu tun, erhalte ich ...
Wie erhält man ein Element nach Index in Spark RDD (Java)
Ich kenne die Methode rdd.first (), die mir das erste Element in einer RDD gibt. Auch gibt es die Methode rdd.take (num), die mir die ersten "num" -Elemente gibt. Aber gibt es keine Möglichkeit, ein Element über den Index abzurufen? Vielen Dank
Was ist der Unterschied zwischen Cache und Persist?
BezüglichRDD Persistenz, was sind die Unterschiede zwischencache() undpersist() im Funken?
Wie finde ich den Maximalwert im RDD-Paar?
Ich habe ein Funkenpaar RDD (Schlüssel, Anzahl) wie unten Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3))Wie finde ich den Schlüssel mit der höchsten Anzahl mithilfe der Spark-Scala-API? EDIT: Datentyp des RDD-Paars ist ...
Apache Funken Nachricht Verständnis
Hilfe anfordern, um diese Nachricht zu verstehen .. INFO spark.MapOutputTrackerMaster: Size of output statuses for shuffle 2 is **2202921** bytesWas bedeutet 2202921 hier? Mein Job führt einen Shuffle-Vorgang durch und gibt beim Lesen ...
org.apache.spark.SparkException: Job abgebrochen wegen Stage-Fehler: Task von Anwendung
Ich habe ein Problem mit der Ausführung der Spark-Anwendung auf einem eigenständigen Cluster. (Ich benutze spark 1.1.0 version). Ich habe den Master-Server mit folgendem Befehl erfolgreich ausgeführt: bash start-master.sh Dann führe ich einen ...