Suchergebnisse für Anfrage "apache-spark"

16 die antwort

KafkaUtils Klasse nicht im Spark Streaming gefunden

Ich habe gerade mit Spark Streaming begonnen und versuche, eine Beispielanwendung zu erstellen, die Wörter aus einem Kafka-Stream zählt. Obwohl es mit @ kompiliesbt package, wenn ich es starte, bekomme ichNoClassDefFoundError. ...

2 die antwort

scala Code werfen Ausnahme in Funken

Ich bin neu in Scala und Funken. Heute habe ich versucht, Code zu schreiben, und habe ihn auf Funken laufen lassen, aber eine Ausnahme bekommen. dieser Code funktioniert in der lokalen scala import org.apache.commons.lang.time.StopWatch ...

4 die antwort

Warum führen Scala 2.11 und Spark mit Jakobsmuschel zu "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?

Ich verwende Scala 2.11, Spark und Scallop https: //github.com/scallop/scallo [https://github.com/scallop/scallop]). Ich habe sbt verwendet, um eine Anwendung zu erstellen, in der es keine Abhängigkeiten für Spark ...

TOP-Veröffentlichungen

6 die antwort

„Kein Dateisystem für Schema: gs“, wenn Spark-Job lokal ausgeführt wird

Ich führe einen Spark-Job aus (Version 1.2.0) und die Eingabe ist ein Ordner in einem Google Clous-Speicher-Bucket (d. H. Gs: // mybucket / folder). Wenn der Auftrag lokal auf meinem Mac ausgeführt wird, wird die folgende Fehlermeldung ...

4 die antwort

Dateien rekursiv aus Unterverzeichnissen mit Funken aus s3 oder lokalem Dateisystem lesen

Ich versuche, Dateien aus einem Verzeichnis zu lesen, das viele Unterverzeichnisse enthält. Die Daten sind in S3 und ich versuche dies zu tun: val rdd ...

32 die antwort

Wie wird die Anzeige von INFO-Meldungen auf der Spark-Konsole gestoppt?

Ich möchte verschiedene Nachrichten stoppen, die auf Funkenschale kommen. Ich habe versucht, das @ zu bearbeitlog4j.properties Datei, um diese Nachricht zu stoppen. Hier sind die Inhalte vonlog4j.properties # Define the root logger with ...

4 die antwort

SparkSQL MissingRequirementError beim Registrieren der Tabelle

Ich bin ein Neuling bei Scala und Apache Spark und versuche, Spark SQL zu verwenden. Nach dem Klonen des repo [https://github.com/apache/spark] Ich habe die Funken-Shell durch Eingabe von @ gestartebin/spark-shell und führen Sie Folgendes ...

6 die antwort

Wie teilt man Spark RDD zwischen 2 Spark-Kontexten?

Ich habe einen RMI-Cluster. Jeder RMI-Server verfügt über einen Spark-Kontext. Gibt es eine Möglichkeit, eine RDD für verschiedene Spark-Kontexte freizugeben?

4 die antwort

Redis on Spark: Task nicht serialisierbar

Wir verwenden Redis on Spark, um unsere Schlüssel-Wert-Paare zwischenzuspeichern. Dies ist der Code: import com.redis.RedisClient val r = new RedisClient("192.168.1.101", 6379) val perhit = perhitFile.map(x => { val arr = x.split(" ") val readId ...

2 die antwort

Spark streaming StreamingContext.start () - Fehler beim Starten von Empfänger 0

Ich habe ein Projekt, das Spark-Streaming verwendet, und ich starte es mit 'spark-submit', aber ich treffe diesen Fehler: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...