Suchergebnisse für Anfrage "spark-streaming"
Spark Streaming: So starten Sie den Empfänger nach einem Empfängerausfall nicht neu
Wir verwenden einen benutzerdefinierten Funkenempfänger, der gestreamte Daten von einem bereitgestellten http-Link liest. Wenn der angegebene http-Link falsch ist, fällt der Empfänger aus. Das Problem ist, dass der Funke den Empfänger ständig ...
Ist foreachRDD auf dem Treiber ausgeführt?
Ich versuche, einige in einer JMS-Warteschlange (QPID) empfangene XML-Daten mit Spark Streaming zu verarbeiten. Nachdem ich xml als DStream erhalten habe, konvertiere ich sie in Dataframes, damit ich sie mit einigen meiner statischen Daten in ...
com.fasterxml.jackson.databind.JsonMappingException: Jackson-Version ist zu alt 2.5.3
Mein Betriebssystem ist OS X 10.11.6. Ich verwende Spark 2.0, Zeppelin 0.6, Scala 2.11 Wenn ich diesen Code in Zeppelin ausführe, erhalte ich eine Ausnahme von Jackson. Wenn ich diesen Code in Spark-Shell laufen lasse - keine Ausnahme. val ...
Spark druckt keine Ausgaben auf der Konsole innerhalb der Kartenfunktion
Ich habe eine einfache Spark-Anwendung, die im Cluster-Modus ausgeführt wird. val funcGSSNFilterHeader = (x: String) => { println(!x.contains("servedMSISDN") !x.contains("servedMSISDN") } val ssc = new ...
So speichern / fügen Sie jeden DStream in eine permanente Tabelle ein
Ich habe ein Problem mit "Spark Streaming" bezüglich des Einfügens von Output Dstream in ein permanent SQL-Tabelle. Ich möchte jeden Ausgabe-DStream (der aus einem einzelnen Stapel stammt, der Prozesse auslöst) in eine eindeutige ...
Echtzeit-Protokollverarbeitung mit Apache Spark Streaming
Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und mit Apache Spark verarbeiten kann. Ich bin verwirrt, ob ich etwas wie Kafka oder Gerinne verwenden soll, um die Protokolle an Spark Stream weiterzuleiten, oder ob ich ...
Spark mit Python: So lösen Sie Stage x auf: Eine sehr große Aufgabe (xxx KB). Die empfohlene maximale Aufgabengröße beträgt 100 KB
Ich habe gerade eine Python-Liste von @ erstelrange(1,100000). Mit SparkContext wurden die folgenden Schritte ausgeführt: a = sc.parallelize([i for i in range(1, 100000)]) b = sc.parallelize([i for i in range(1, 100000)]) c = a.zip(b) >>> [(1, ...
Spark Streaming: HDFS
Ich kann meinen Spark-Job nicht dazu bringen, "alte" Dateien von HDFS zu streamen.Wenn mein Spark-Job aus irgendeinem Grund nicht ausgeführt wird (z. B. Demo, Bereitstellung), das Schreiben / Verschieben in das HDFS-Verzeichnis jedoch ...
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Wie verwende ich Scala und Python in einem Spark-Projekt?
Ist das möglich @ zu leitSpark RDD zu Python? Weil ich eine Python-Bibliothek benötige, um meine Daten zu berechnen, aber mein Haupt-Spark-Projekt basiert auf Scala. Gibt es eine Möglichkeit, beide zu mischen oder Python auf denselben ...