Suchergebnisse für Anfrage "spark-streaming"
Jobs können nicht an Spark-Cluster gesendet werden (Cluster-Modus)
Spark Version 1.3.0 Fehler beim Senden von Jobs an den Spark-Cluster im Cluster-Modus ./spark-submit --class org.apache.spark.examples.streaming.JavaDirectKafkaWordCount --deploy-mode cluster wordcount-0.1.jar ...
Spark Streaming: HDFS
Ich kann meinen Spark-Job nicht dazu bringen, "alte" Dateien von HDFS zu streamen.Wenn mein Spark-Job aus irgendeinem Grund nicht ausgeführt wird (z. B. Demo, Bereitstellung), das Schreiben / Verschieben in das HDFS-Verzeichnis jedoch ...
Spark mit Python: So lösen Sie Stage x auf: Eine sehr große Aufgabe (xxx KB). Die empfohlene maximale Aufgabengröße beträgt 100 KB
Ich habe gerade eine Python-Liste von @ erstelrange(1,100000). Mit SparkContext wurden die folgenden Schritte ausgeführt: a = sc.parallelize([i for i in range(1, 100000)]) b = sc.parallelize([i for i in range(1, 100000)]) c = a.zip(b) >>> [(1, ...
Echtzeit-Protokollverarbeitung mit Apache Spark Streaming
Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und mit Apache Spark verarbeiten kann. Ich bin verwirrt, ob ich etwas wie Kafka oder Gerinne verwenden soll, um die Protokolle an Spark Stream weiterzuleiten, oder ob ich ...
Wie erstelle ich mehrere SparkContexts in einer Konsole?
Ich möchte mehr als einen SparkContext in einer Konsole erstellen. Laut einem Beitrag inMailinglist [http://apache-spark-user-list.1001560.n3.nabble.com/Multiple-SparkContexts-in-same-Driver-JVM-td20037.html#a21454] , Ich muss SparkConf.set ...
spark ssc.textFileStream streamt keine Dateien aus dem Verzeichnis
Ich versuche, den folgenden Code mit Eclipse (mit maven conf) mit 2 Workern auszuführen und jeder hat 2 Kerne oder ich versuche es auch mit spark-submit. public class StreamingWorkCount implements Serializable { public static void main(String[] ...
Spark Streaming: StreamingContext liest keine Datendateien
Ich bin neu in Spark Streaming und versuche, mit Spark-Shell damit zu beginnen. Angenommen, ich habe ein Verzeichnis namens "dataTest" im Stammverzeichnis von spark-1.2.0-bin-hadoop2.4. Der einfache Code, den ich in der Shell testen möchte, ...
Spark streaming StreamingContext.start () - Fehler beim Starten von Empfänger 0
Ich habe ein Projekt, das Spark-Streaming verwendet, und ich starte es mit 'spark-submit', aber ich treffe diesen Fehler: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
SQL über Spark Streaming
Dies ist der Code zum Ausführen einfacher SQL-Abfragen über Spark Streaming. import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.sql.SQLContext import ...
Spark-Streaming-Fenster-Betrieb
Das Folgende ist ein einfacher Code, um die Wortanzahl über eine Fenstergröße von 30 Sekunden und eine Foliengröße von 10 Sekunden zu erhalten. import org.apache.spark.SparkConf import org.apache.spark.streaming._ ...