Suchergebnisse für Anfrage "spark-streaming"
Process Spark Streaming rdd und Speichern in eine einzelne HDFS-Datei
Ich verwende Kafka Spark Streaming, um Streaming-Daten abzurufen. val lines = KafkaUtils.createDirectStream[Array[Byte], String, DefaultDecoder, StringDecoder](ssc, kafkaConf, Set(topic)).map(_._2)Ich benutze diesen DStream und verarbeite ...
'Connection Refused' Fehler beim Ausführen von Spark Streaming auf lokalem Computer
Ich weiß, dass es bereits viele Threads zu Problemen gibt, bei denen "Funken-Streaming-Verbindung abgelehnt" wurde. Aber die meisten davon sind in Linux oder zumindest in HDFS. Ich führe dies auf meinem lokalen Laptop mit Windows aus. Ich ...
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Drop spark dataframe from cache
Ich verwende Spark 1.3.0 mit Python API. Beim Transformieren großer Datenrahmen werden viele DFs zwischengespeichert, um die Ausführung zu beschleunige df1.cache() df2.cache()Die einmalige Verwendung eines bestimmten Datenrahmens ist beendet und ...
Wird es ein Szenario geben, in dem Spark-RDDs die Unveränderlichkeit nicht erfüllen ?
Spark RDDs sind unveränderlich, fehlertolerant und belastbar. Erfüllen RDDs die Unveränderlichkeit in allen Szenarien? Oder gibt es einen Fall, in dem RDD die Unveränderlichkeit möglicherweise nicht befriedigt, sei es im Streaming oder im Core?
Lesen von Cassandra mit Spark Streaming
Ich habe ein Problem, wenn ich Spark-Streaming verwende, um von Cassandra ...
Spark Streaming auf EC2: Ausnahme im Thread "main" java.lang.ExceptionInInitializerError
Ich versuche, spark-submit für eine von mir erstellte JAR-Datei auszuführen. Wenn ich es lokal auf meinem Computer ausführe, funktioniert es ordnungsgemäß, aber wenn es auf Amazon EC2 bereitgestellt wird, wird der folgende ...
Wie verwende ich Scala und Python in einem Spark-Projekt?
Ist das möglich @ zu leitSpark RDD zu Python? Weil ich eine Python-Bibliothek benötige, um meine Daten zu berechnen, aber mein Haupt-Spark-Projekt basiert auf Scala. Gibt es eine Möglichkeit, beide zu mischen oder Python auf denselben ...
Ungefangene Ausnahmebehandlung in Spark
Ich arbeite an einer Java-basierten Spark-Streaming-Anwendung, die auf Nachrichten reagiert, die über ein Kafka-Thema eingehen. Für jede Nachricht führt die Anwendung eine Verarbeitung durch und schreibt die Ergebnisse in ein anderes Kafka-Thema ...
Spark Worker kann keine Verbindung zum Master herstellen
eim Starten des Arbeitsknotens wird der folgende Fehler angezeigt: Spark Command: /usr/lib/jvm/default-java/bin/java ...