Suchergebnisse für Anfrage "apache-spark"

1 die antwort

apache spark, "Fehler beim Erstellen eines lokalen Verzeichnisses"

Ich versuche, Apache-Spark auf einem kleinen eigenständigen Cluster (1 Master-Knoten und 8 Slave-Knoten) einzurichten. Ich habe die "vorgefertigte" Version von Spark 1.1.0 installiert, die auf Hadoop 2.4 aufbaut. Ich habe das kennwortlose ssh ...

4 die antwort

Was passiert, wenn das Treiberprogramm abstürzt?

Ich verstehe, wie Worker-Knoten fehlertolerant sind, aber was passiert, wenn Ihr Treiberprogramm aus unerwarteten Gründen abstürzt? (Stromausfall / Speicherproblem usw.). Ich könnte mir vorstellen, dass Sie alle Arbeit verlieren werden, da der ...

1 die antwort

ufen Sie JDBC auf, um innerhalb eines Spark-Jobs Impala / Hive auszuführen, und erstellen Sie eine Tabell

Ich versuche, einen Spark-Job in Scala zu schreiben, der eine JDBC-Verbindung mit Impala herstellt, und lasse mich eine Tabelle erstellen und andere Vorgänge ausführen. Wie mache ich das? Jedes Beispiel wäre eine große Hilfe. Vielen Dank

TOP-Veröffentlichungen

3 die antwort

Wie funktioniert die Funktion pyspark mapPartitions?

So versuche ich Spark mit Python (Pyspark) zu lernen. Ich möchte wissen, wie die FunktionmapPartitions Arbeit. Das ist der Input und der Output, den es gibt. Ich konnte kein richtiges Beispiel aus dem Internet finden. Nehmen wir an, ich habe ein ...

2 die antwort

Was ist der Unterschied zwischen spark-submit und pyspark?

Wenn ich pyspark starte und dann diesen Befehl ausführe: import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')Alles ist A-ok. Wenn ich jedoch versuche, dasselbe über die Kommandozeile und mit Spark-Submit zu tun, erhalte ich ...

3 die antwort

Wie erhält man ein Element nach Index in Spark RDD (Java)

Ich kenne die Methode rdd.first (), die mir das erste Element in einer RDD gibt. Auch gibt es die Methode rdd.take (num), die mir die ersten "num" -Elemente gibt. Aber gibt es keine Möglichkeit, ein Element über den Index abzurufen? Vielen Dank

4 die antwort

Was ist der Unterschied zwischen Cache und Persist?

BezüglichRDD Persistenz, was sind die Unterschiede zwischencache() undpersist() im Funken?

4 die antwort

Wie finde ich den Maximalwert im RDD-Paar?

Ich habe ein Funkenpaar RDD (Schlüssel, Anzahl) wie unten Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3))Wie finde ich den Schlüssel mit der höchsten Anzahl mithilfe der Spark-Scala-API? EDIT: Datentyp des RDD-Paars ist ...

1 die antwort

Apache Funken Nachricht Verständnis

Hilfe anfordern, um diese Nachricht zu verstehen .. INFO spark.MapOutputTrackerMaster: Size of output statuses for shuffle 2 is **2202921** bytesWas bedeutet 2202921 hier? Mein Job führt einen Shuffle-Vorgang durch und gibt beim Lesen ...

2 die antwort

org.apache.spark.SparkException: Job abgebrochen wegen Stage-Fehler: Task von Anwendung

Ich habe ein Problem mit der Ausführung der Spark-Anwendung auf einem eigenständigen Cluster. (Ich benutze spark 1.1.0 version). Ich habe den Master-Server mit folgendem Befehl erfolgreich ausgeführt: bash start-master.sh Dann führe ich einen ...