Suchergebnisse für Anfrage "apache-spark"
KafkaUtils Klasse nicht im Spark Streaming gefunden
Ich habe gerade mit Spark Streaming begonnen und versuche, eine Beispielanwendung zu erstellen, die Wörter aus einem Kafka-Stream zählt. Obwohl es mit @ kompiliesbt package, wenn ich es starte, bekomme ichNoClassDefFoundError. ...
scala Code werfen Ausnahme in Funken
Ich bin neu in Scala und Funken. Heute habe ich versucht, Code zu schreiben, und habe ihn auf Funken laufen lassen, aber eine Ausnahme bekommen. dieser Code funktioniert in der lokalen scala import org.apache.commons.lang.time.StopWatch ...
Warum führen Scala 2.11 und Spark mit Jakobsmuschel zu "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?
Ich verwende Scala 2.11, Spark und Scallop https: //github.com/scallop/scallo [https://github.com/scallop/scallop]). Ich habe sbt verwendet, um eine Anwendung zu erstellen, in der es keine Abhängigkeiten für Spark ...
„Kein Dateisystem für Schema: gs“, wenn Spark-Job lokal ausgeführt wird
Ich führe einen Spark-Job aus (Version 1.2.0) und die Eingabe ist ein Ordner in einem Google Clous-Speicher-Bucket (d. H. Gs: // mybucket / folder). Wenn der Auftrag lokal auf meinem Mac ausgeführt wird, wird die folgende Fehlermeldung ...
Dateien rekursiv aus Unterverzeichnissen mit Funken aus s3 oder lokalem Dateisystem lesen
Ich versuche, Dateien aus einem Verzeichnis zu lesen, das viele Unterverzeichnisse enthält. Die Daten sind in S3 und ich versuche dies zu tun: val rdd ...
Wie wird die Anzeige von INFO-Meldungen auf der Spark-Konsole gestoppt?
Ich möchte verschiedene Nachrichten stoppen, die auf Funkenschale kommen. Ich habe versucht, das @ zu bearbeitlog4j.properties Datei, um diese Nachricht zu stoppen. Hier sind die Inhalte vonlog4j.properties # Define the root logger with ...
SparkSQL MissingRequirementError beim Registrieren der Tabelle
Ich bin ein Neuling bei Scala und Apache Spark und versuche, Spark SQL zu verwenden. Nach dem Klonen des repo [https://github.com/apache/spark] Ich habe die Funken-Shell durch Eingabe von @ gestartebin/spark-shell und führen Sie Folgendes ...
Wie teilt man Spark RDD zwischen 2 Spark-Kontexten?
Ich habe einen RMI-Cluster. Jeder RMI-Server verfügt über einen Spark-Kontext. Gibt es eine Möglichkeit, eine RDD für verschiedene Spark-Kontexte freizugeben?
Redis on Spark: Task nicht serialisierbar
Wir verwenden Redis on Spark, um unsere Schlüssel-Wert-Paare zwischenzuspeichern. Dies ist der Code: import com.redis.RedisClient val r = new RedisClient("192.168.1.101", 6379) val perhit = perhitFile.map(x => { val arr = x.split(" ") val readId ...
Spark streaming StreamingContext.start () - Fehler beim Starten von Empfänger 0
Ich habe ein Projekt, das Spark-Streaming verwendet, und ich starte es mit 'spark-submit', aber ich treffe diesen Fehler: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...