Suchergebnisse für Anfrage "spark-streaming"
Das dynamische Lesen von Dateien aus HDFS in Funkentransformationsfunktionen
Wie kann eine Datei aus HDFS in einer Spark-Funktion gelesen werden, die sparkContext nicht innerhalb der Funktion verwendet? Beispiel val filedata_rdd = rdd.map { x => ReadFromHDFS(x.getFilePath) }Frage: Wie kann ReadFromHDFS implementiert ...
Wie kann ich die Spark-Streaming-Anwendung ordnungsgemäß beenden?
Wie höre ich auf, Funken zu streamen? Mein Spark-Streaming-Job läuft ununterbrochen. Ich möchte auf anmutige Weise aufhören. Ich habe unten die Option zum Herunterfahren der Streaming-Anwendung ...
Limit Kafka-Stapelgröße bei Verwendung von Spark Streaming
Ist es möglich, die Größe der vom Kafka-Consumer für Spark Streaming zurückgegebenen Stapel zu begrenzen? Ich frage, weil der erste Stapel, den ich erhalte, Hunderte von Millionen Datensätzen enthält und es Ewigkeiten dauert, sie zu verarbeiten ...
So speichern / fügen Sie jeden DStream in eine permanente Tabelle ein
Ich habe ein Problem mit "Spark Streaming" bezüglich des Einfügens von Output Dstream in ein permanent SQL-Tabelle. Ich möchte jeden Ausgabe-DStream (der aus einem einzelnen Stapel stammt, der Prozesse auslöst) in eine eindeutige ...
Spark DataFrame: behält groupBy nach orderBy diese Reihenfolge bei?
Ich habe einen Spark 2.0-Datenrahmenexample mit der folgenden Struktur: id, hour, count id1, 0, 12 id1, 1, 55 .. id1, 23, 44 id2, 0, 12 id2, 1, 89 .. id2, 23, 34 etc. Es enthält 24 Einträge für jede ID (einen für jede Stunde des Tages) und wird ...
Ausnahme beim Zugriff auf KafkaOffset über RDD
Ich habe einen Spark-Konsumenten, der von Kafka streamt. Ich versuche, Offsets für genau eine Semantik zu verwalten. Beim Zugriff auf den Offset wird jedoch die folgende Ausnahme ausgelöst: "java.lang.ClassCastException: ...
Spark druckt keine Ausgaben auf der Konsole innerhalb der Kartenfunktion
Ich habe eine einfache Spark-Anwendung, die im Cluster-Modus ausgeführt wird. val funcGSSNFilterHeader = (x: String) => { println(!x.contains("servedMSISDN") !x.contains("servedMSISDN") } val ssc = new ...
Verwenden Sie das Schema, um AVRO-Nachrichten mit Spark in DataFrame @ zu konvertiere
Gibt es eine Möglichkeit, ein Schema zum Konvertieren von @ zu verwende avro [/questions/tagged/avro] Nachrichten von kafka [/questions/tagged/kafka] mitFunk [/questions/tagged/spark] zu dataframe [/questions/tagged/dataframe]? Die Schemadatei ...
com.fasterxml.jackson.databind.JsonMappingException: Jackson-Version ist zu alt 2.5.3
Mein Betriebssystem ist OS X 10.11.6. Ich verwende Spark 2.0, Zeppelin 0.6, Scala 2.11 Wenn ich diesen Code in Zeppelin ausführe, erhalte ich eine Ausnahme von Jackson. Wenn ich diesen Code in Spark-Shell laufen lasse - keine Ausnahme. val ...
Spark 2.0.0 Twitter-Streaming-Treiber ist nicht mehr verfügbar
Während der Migration von spark 1.6.2 zu spark 2.0.0 wurde das Paket org.apache.spark.streaming.twitter entfernt und Twitter-Streaming ist nicht mehr verfügbar sowie Dependency <dependency> ...