Suchergebnisse für Anfrage "spark-streaming"
Wird es ein Szenario geben, in dem Spark-RDDs die Unveränderlichkeit nicht erfüllen ?
Spark RDDs sind unveränderlich, fehlertolerant und belastbar. Erfüllen RDDs die Unveränderlichkeit in allen Szenarien? Oder gibt es einen Fall, in dem RDD die Unveränderlichkeit möglicherweise nicht befriedigt, sei es im Streaming oder im Core?
Addieren des Sprachfilters zum Twittern von popularhashtags - scala
Ich bin neu bei Spark und Scala. Ich habe die beliebten Hashtags von Spark-Streaming-Job-Twitter verwendet. Ich habe einen Filter für einige Wörter hinzugefügt und konnte Tweets herausfiltern: val filter = Array("spark", "Big Data") val stream ...
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Spark Streaming mapWithState scheint in regelmäßigen Abständen den vollständigen Zustand wiederherzustellen
Ich arbeite an einem Scala (2.11) / Spark (1.6.1) -Streaming-Projekt und benutzemapWithState(), um die angezeigten Daten früherer Stapel zu verfolgen. Der Status ist in 20 Partitionen auf mehrere Knoten verteilt, die mit @ erstellt ...
Stoppen Sie den Streaming-Kontext im Spark-Streaming nach einem bestimmten Zeitraum.
enn Sie eine Anwendung erstellen, die DStreams von Twitter empfängt, können Sie den Streaming-Kontext nur stoppen, indem Sie die Ausführung anhalten. Ich frage mich, ob es eine Möglichkeit gibt, eine Uhrzeit festzulegen und den Streaming-Socket ...
Ungefangene Ausnahmebehandlung in Spark
Ich arbeite an einer Java-basierten Spark-Streaming-Anwendung, die auf Nachrichten reagiert, die über ein Kafka-Thema eingehen. Für jede Nachricht führt die Anwendung eine Verarbeitung durch und schreibt die Ergebnisse in ein anderes Kafka-Thema ...
So konvertieren Sie Spark Streaming-Daten in Spark DataFrame
Bisher hat Spark noch keinen DataFrame für das Streaming von Daten erstellt. Wenn ich jedoch Anomalien erkenne, ist es bequemer und schneller, DataFrame für die Datenanalyse zu verwenden. Ich habe diesen Teil erledigt, aber als ich versuche, ...
Limit Kafka-Stapelgröße bei Verwendung von Spark Streaming
Ist es möglich, die Größe der vom Kafka-Consumer für Spark Streaming zurückgegebenen Stapel zu begrenzen? Ich frage, weil der erste Stapel, den ich erhalte, Hunderte von Millionen Datensätzen enthält und es Ewigkeiten dauert, sie zu verarbeiten ...
Wie setze und erhalte ich statische Variablen von spark?
Ich habe eine Klasse wie diese: public class Test { private static String name; public static String getName() { return name; } public static void setName(String name) { Test.name = name; } public static void print() { System.out.println(name); ...
Spark Dataframe validiert Spaltennamen für Parkettschreibvorgänge (Scala)
Ich verarbeite Ereignisse mit Dataframes, die aus einem Stream von JSON-Ereignissen konvertiert wurden, der schließlich als Parkettformat ausgegeben wird. Einige der JSON-Ereignisse enthalten jedoch Leerzeichen in den Schlüsseln, die ich ...