Suchergebnisse für Anfrage "spark-streaming"
Wie werden Daten von Kafka an Spark Streaming übergeben?
Ich versuche, Daten von Kafka an Spark-Streaming zu übergeben. Das habe ich bis jetzt gemacht: Installed bothkafka undsparkGestartetzookeeper mit Standardeigenschaften configGestartetkafka server mit Standardeigenschaften ...
Spark UI zeigt 0 Kerne an, auch wenn Kerne in App @ gesetzt werd
Ich habe ein seltsames Problem beim Ausführen einer Anwendung von der Spark-Master-URL, bei der die Benutzeroberfläche unbegrenzt den Status "WAITING" meldet, da in der Tabelle RUNNING APPLICATIONSs (AUSFÜHRENDE ANWENDUNGEN) 0 Kerne angezeigt ...
Limit Kafka-Stapelgröße bei Verwendung von Spark Streaming
Ist es möglich, die Größe der vom Kafka-Consumer für Spark Streaming zurückgegebenen Stapel zu begrenzen? Ich frage, weil der erste Stapel, den ich erhalte, Hunderte von Millionen Datensätzen enthält und es Ewigkeiten dauert, sie zu verarbeiten ...
Wie erstelle ich mehrere SparkContexts in einer Konsole?
Ich möchte mehr als einen SparkContext in einer Konsole erstellen. Laut einem Beitrag inMailinglist [http://apache-spark-user-list.1001560.n3.nabble.com/Multiple-SparkContexts-in-same-Driver-JVM-td20037.html#a21454] , Ich muss SparkConf.set ...
Wie kann ich eine Broadcast-Variable im Spark-Streaming aktualisieren?
Ich habe, glaube ich, einen relativ häufigen Anwendungsfall für Funken-Streaming: Ich habe einen Strom von Objekten, die ich basierend auf einigen Referenzdaten filtern möchte Initial dachte ich, dass dies eine sehr einfache Sache wäre, mit ...
Spark Dataframe validiert Spaltennamen für Parkettschreibvorgänge (Scala)
Ich verarbeite Ereignisse mit Dataframes, die aus einem Stream von JSON-Ereignissen konvertiert wurden, der schließlich als Parkettformat ausgegeben wird. Einige der JSON-Ereignisse enthalten jedoch Leerzeichen in den Schlüsseln, die ich ...
Verwenden Sie das Schema, um AVRO-Nachrichten mit Spark in DataFrame @ zu konvertiere
Gibt es eine Möglichkeit, ein Schema zum Konvertieren von @ zu verwende avro [/questions/tagged/avro] Nachrichten von kafka [/questions/tagged/kafka] mitFunk [/questions/tagged/spark] zu dataframe [/questions/tagged/dataframe]? Die Schemadatei ...
Spark DataFrame: behält groupBy nach orderBy diese Reihenfolge bei?
Ich habe einen Spark 2.0-Datenrahmenexample mit der folgenden Struktur: id, hour, count id1, 0, 12 id1, 1, 55 .. id1, 23, 44 id2, 0, 12 id2, 1, 89 .. id2, 23, 34 etc. Es enthält 24 Einträge für jede ID (einen für jede Stunde des Tages) und wird ...
spark ssc.textFileStream streamt keine Dateien aus dem Verzeichnis
Ich versuche, den folgenden Code mit Eclipse (mit maven conf) mit 2 Workern auszuführen und jeder hat 2 Kerne oder ich versuche es auch mit spark-submit. public class StreamingWorkCount implements Serializable { public static void main(String[] ...
So konvertieren Sie Spark Streaming-Daten in Spark DataFrame
Bisher hat Spark noch keinen DataFrame für das Streaming von Daten erstellt. Wenn ich jedoch Anomalien erkenne, ist es bequemer und schneller, DataFrame für die Datenanalyse zu verwenden. Ich habe diesen Teil erledigt, aber als ich versuche, ...