Suchergebnisse für Anfrage "spark-streaming"
Ist Spark-Streaming funktioniert sowohl mit "cp" als auch mit "mv"
Ich verwende Spark-Streaming Mein Programm liest ständig Streams aus einem Hadoop-Ordner. Das Problem ist, dass der Spark-Job gestartet wird, wenn ich ihn in meinen Hadoop-Ordner kopiere (Hadoop fs -copyFromLocal), aber wenn ich ihn verschiebe ...
Spark Streaming mapWithState scheint in regelmäßigen Abständen den vollständigen Zustand wiederherzustellen
Ich arbeite an einem Scala (2.11) / Spark (1.6.1) -Streaming-Projekt und benutzemapWithState(), um die angezeigten Daten früherer Stapel zu verfolgen. Der Status ist in 20 Partitionen auf mehrere Knoten verteilt, die mit @ erstellt ...
So konvertieren Sie Spark Streaming-Daten in Spark DataFrame
Bisher hat Spark noch keinen DataFrame für das Streaming von Daten erstellt. Wenn ich jedoch Anomalien erkenne, ist es bequemer und schneller, DataFrame für die Datenanalyse zu verwenden. Ich habe diesen Teil erledigt, aber als ich versuche, ...
Spark Streaming: Wie kann ich meinem DStream weitere Partitionen hinzufügen?
Ich habe eine Spark-Streaming-App, die so aussieht: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ createConnection() ...
Spark UI zeigt 0 Kerne an, auch wenn Kerne in App @ gesetzt werd
Ich habe ein seltsames Problem beim Ausführen einer Anwendung von der Spark-Master-URL, bei der die Benutzeroberfläche unbegrenzt den Status "WAITING" meldet, da in der Tabelle RUNNING APPLICATIONSs (AUSFÜHRENDE ANWENDUNGEN) 0 Kerne angezeigt ...
Zuverlässigkeitsprobleme mit Checkpointing / WAL in Spark Streaming 1.6.0
Beschreibun Wir haben eine Spark Streaming 1.5.2-Anwendung in Scala, die JSON-Ereignisse aus einem Kinesis Stream liest, einige Transformationen / Aggregationen durchführt und die Ergebnisse in verschiedene S3-Präfixe schreibt. Das aktuelle ...
Wie werden Daten von Kafka an Spark Streaming übergeben?
Ich versuche, Daten von Kafka an Spark-Streaming zu übergeben. Das habe ich bis jetzt gemacht: Installed bothkafka undsparkGestartetzookeeper mit Standardeigenschaften configGestartetkafka server mit Standardeigenschaften ...
spark-submit: --jars funktioniert nicht
Ich erstelle ein Metriksystem für den Spark-Streaming-Job. In diesem System werden die Metriken in jedem Executor erfasst. Daher muss in jedem Executor eine Metrikquelle (eine Klasse, die zum Erfassen von Metriken verwendet wird) initialisiert ...
Spark: Mehrere Kafka-Themen gleichzeitig bearbeiten
Ich benutzespark 1.5.2. Ich muss den Spark-Streaming-Job mit Kafka als Streaming-Quelle ausführen. Ich muss aus mehreren Themen in kafka lesen und jedes Thema anders verarbeiten. Ist es eine gute Idee, dies im selben Job zu tun? Wenn ja, sollte ...
Konnte keine Anführer für Set finden ([TOPICNNAME, 0])) Wenn wir in Apache Saprk sind
Wir verwenden Apache Spark 1.5.1 und kafka_2.10-0.8.2.1 sowie die Kafka DirectStream-API, um mit Spark Daten von Kafka abzurufen. Wir haben die Themen in Kafka mit den folgenden Einstellungen erstellt ReplicationFactor: 1 und Replica: 1 Wenn ...