Suchergebnisse für Anfrage "spark-streaming"
'Connection Refused' Fehler beim Ausführen von Spark Streaming auf lokalem Computer
Ich weiß, dass es bereits viele Threads zu Problemen gibt, bei denen "Funken-Streaming-Verbindung abgelehnt" wurde. Aber die meisten davon sind in Linux oder zumindest in HDFS. Ich führe dies auf meinem lokalen Laptop mit Windows aus. Ich ...
Was bedeutet "Streaming" in Apache Spark und Apache Flink?
ls ich zu @ giApache Spark Streaming [https://spark.apache.org/streaming/] Website, ich habe einen Satz gesehen: Spark Streaming erleichtert das Erstellen skalierbarer fehlertoleranter Streaming-Anwendungen. Und inApache Flink ...
Stoppen Sie den Streaming-Kontext im Spark-Streaming nach einem bestimmten Zeitraum.
enn Sie eine Anwendung erstellen, die DStreams von Twitter empfängt, können Sie den Streaming-Kontext nur stoppen, indem Sie die Ausführung anhalten. Ich frage mich, ob es eine Möglichkeit gibt, eine Uhrzeit festzulegen und den Streaming-Socket ...
Addieren des Sprachfilters zum Twittern von popularhashtags - scala
Ich bin neu bei Spark und Scala. Ich habe die beliebten Hashtags von Spark-Streaming-Job-Twitter verwendet. Ich habe einen Filter für einige Wörter hinzugefügt und konnte Tweets herausfiltern: val filter = Array("spark", "Big Data") val stream ...
Spark Streaming in einem S3-Verzeichnis
So werden Tausende von Ereignissen über Amazon Kinesis in SQS gestreamt und dann in ein S3-Verzeichnis verschoben. Ungefähr alle 10 Minuten wird eine neue Textdatei erstellt, um die Daten von Kinesis in S3 zu speichern. Ich möchte Spark Streaming ...
Wie filtere ich Dstream mit Transformationsoperation und externem RDD?
Ich benutztetransform -Methode in einem ähnlichen Anwendungsfall wie in @ beschriebTransform Operation abschnitt vonTransformations on ...
Spark Python Avro Kafka Deserialiser
Ich habe einen Kafka-Stream in einer Python-Spark-App erstellt und kann jeden Text analysieren, der durch ihn kommt. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Ich möchte dies ändern, um ...
Spark Streaming-Datenaustausch zwischen Stapeln
Spark Streaming verarbeitet die Daten in Mikro-Batches. Jede Intervalldaten werden mithilfe von RDDs parallel verarbeitet, ohne dass Daten zwischen den einzelnen Intervallen ausgetauscht werden. Aber mein Anwendungsfall muss die Daten zwischen ...
Custom Partiotioning von JavaDStreamPairRDD
Was ist beim Spark-Streaming die empfohlene Methode, um einen benutzerdefinierten Partiotioner auf DStreams zu implementieren? Ich habe JavaPairRDD.partitionBy (Partitioner) im Batch-Modus verwendet, aber auf JavaDStreamPairRDD keine ...
Wie setze und erhalte ich statische Variablen von spark?
Ich habe eine Klasse wie diese: public class Test { private static String name; public static String getName() { return name; } public static void setName(String name) { Test.name = name; } public static void print() { System.out.println(name); ...