Suchergebnisse für Anfrage "apache-spark"
ERROR Utils: Nicht erfasste Ausnahme im Thread SparkListenerBus
Ich versuche, ein einfaches Projekt mit Apache Spark auszuführen. Das ist mein Code SimpleApp.scala /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf ...
Lesen und Schreiben von Hive-Tabellen mit Funken nach Aggregation
Wir haben ein Bienenstocklager und wollten Funken für verschiedene Aufgaben verwenden (hauptsächlich Klassifizierung). Schreiben Sie die Ergebnisse manchmal als Hive-Tabelle zurück. Zum Beispiel haben wir die folgende Python-Funktion geschrieben, ...
Warum Apache Spark funktioniert nicht parallel?
Lesen Sie den Apache Spark-Leitfaden unterhttp: //spark.apache.org/docs/latest/programming-guide.htm [http://spark.apache.org/docs/latest/programming-guide.html] Es sagt aus Warum wird die Funktion take nicht parallel ausgeführt? Was sind ...
Apache Spark-Fehler: Konnte keine Verbindung zu akka.tcp: // sparkMaster @@ herstell
Dies sind unsere ersten Schritte mit Big Data wie Apache Spark und Hadoop. Wir haben eine Cloudera CDH 5.3 installiert. Vom Cloudera-Manager entscheiden wir uns, Funken zu installieren. Spark läuft auf einem der Knoten im Cluster sehr gut. uf ...
Wie melde ich mich mit log4j im lokalen Dateisystem einer Spark-Anwendung an, die auf YARN ausgeführt wird?
Ich erstelle eine Apache Spark Streaming-Anwendung und kann sie nicht in eine Datei auf dem lokalen Dateisystem protokollieren.wenn es auf YARN läuft. Wie kann das erreicht werden? Ich habe @ eingestellog4.properties Datei, so dass es ...
Spark: Datensätze in Gruppen sortieren?
Ich habe eine Reihe von Datensätzen, die ich benötigen: 1) Gruppiere nach 'Datum', 'Stadt' und 'Art' 2) Sortiere jede Gruppe nach 'Preis In meinem Code: import org.apache.spark.SparkConf import org.apache.spark.SparkContext object Sort { ...
Was ist Speicher auf Garn reserviert
Ich habe es geschafft, eine Funkenanwendung auf Yarn zu starten. Allerdings ist die Verwendung von Emory etwas seltsam, wie Sie unten sehen können: http: //imgur.com/1k6VvS [http://imgur.com/1k6VvSI] Was bedeutet reservierter Speicher? Wie kann ...
Wie kann ich .zip-Dateien über Spark öffnen / streamen?
Ich habe zip-Dateien, die ich über Spark öffnen möchte. Ich kann .gzip-Dateien ohne Probleme öffnen, da Hadoops nativen Codec unterstützt. Mit .zip-Dateien ist dies jedoch nicht möglich. Gibt es eine einfache Möglichkeit, eine Zip-Datei in ...
Wie erhalte ich die Anzahl der Elemente in der Partition?
Gibt es eine Möglichkeit, die Anzahl der Elemente in einer Funken-RDD-Partition zu ermitteln, wenn die Partitions-ID angegeben wird? Ohne die gesamte Partition zu scannen. Etwas wie das Rdd.partitions().get(index).size()Except Ich sehe keine ...
Echtzeit-Protokollverarbeitung mit Apache Spark Streaming
Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und mit Apache Spark verarbeiten kann. Ich bin verwirrt, ob ich etwas wie Kafka oder Gerinne verwenden soll, um die Protokolle an Spark Stream weiterzuleiten, oder ob ich ...