Suchergebnisse für Anfrage "spark-streaming"
Wie setze und erhalte ich statische Variablen von spark?
Ich habe eine Klasse wie diese: public class Test { private static String name; public static String getName() { return name; } public static void setName(String name) { Test.name = name; } public static void print() { System.out.println(name); ...
Jobs können nicht an Spark-Cluster gesendet werden (Cluster-Modus)
Spark Version 1.3.0 Fehler beim Senden von Jobs an den Spark-Cluster im Cluster-Modus ./spark-submit --class org.apache.spark.examples.streaming.JavaDirectKafkaWordCount --deploy-mode cluster wordcount-0.1.jar ...
Custom Partiotioning von JavaDStreamPairRDD
Was ist beim Spark-Streaming die empfohlene Methode, um einen benutzerdefinierten Partiotioner auf DStreams zu implementieren? Ich habe JavaPairRDD.partitionBy (Partitioner) im Batch-Modus verwendet, aber auf JavaDStreamPairRDD keine ...
Spark Streaming-Datenaustausch zwischen Stapeln
Spark Streaming verarbeitet die Daten in Mikro-Batches. Jede Intervalldaten werden mithilfe von RDDs parallel verarbeitet, ohne dass Daten zwischen den einzelnen Intervallen ausgetauscht werden. Aber mein Anwendungsfall muss die Daten zwischen ...
Spark Python Avro Kafka Deserialiser
Ich habe einen Kafka-Stream in einer Python-Spark-App erstellt und kann jeden Text analysieren, der durch ihn kommt. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Ich möchte dies ändern, um ...
Wie filtere ich Dstream mit Transformationsoperation und externem RDD?
Ich benutztetransform -Methode in einem ähnlichen Anwendungsfall wie in @ beschriebTransform Operation abschnitt vonTransformations on ...
Spark Streaming in einem S3-Verzeichnis
So werden Tausende von Ereignissen über Amazon Kinesis in SQS gestreamt und dann in ein S3-Verzeichnis verschoben. Ungefähr alle 10 Minuten wird eine neue Textdatei erstellt, um die Daten von Kinesis in S3 zu speichern. Ich möchte Spark Streaming ...
Addieren des Sprachfilters zum Twittern von popularhashtags - scala
Ich bin neu bei Spark und Scala. Ich habe die beliebten Hashtags von Spark-Streaming-Job-Twitter verwendet. Ich habe einen Filter für einige Wörter hinzugefügt und konnte Tweets herausfiltern: val filter = Array("spark", "Big Data") val stream ...
Stoppen Sie den Streaming-Kontext im Spark-Streaming nach einem bestimmten Zeitraum.
enn Sie eine Anwendung erstellen, die DStreams von Twitter empfängt, können Sie den Streaming-Kontext nur stoppen, indem Sie die Ausführung anhalten. Ich frage mich, ob es eine Möglichkeit gibt, eine Uhrzeit festzulegen und den Streaming-Socket ...
Was bedeutet "Streaming" in Apache Spark und Apache Flink?
ls ich zu @ giApache Spark Streaming [https://spark.apache.org/streaming/] Website, ich habe einen Satz gesehen: Spark Streaming erleichtert das Erstellen skalierbarer fehlertoleranter Streaming-Anwendungen. Und inApache Flink ...