Suchergebnisse für Anfrage "apache-spark"
ElasticSearch, um RDD zu aktivieren
Ich habe die ElasticSearch- und Spark-Integration auf meinem lokalen Computer mit einigen in elasticsearch geladenen Testdaten getestet. val sparkConf = new SparkConf().setAppName("Test").setMaster("local") val sc = new SparkContext(sparkConf) ...
Fehler UNBEHOBENE ABHÄNGIGKEITEN beim Versuch, ein Glas zu erstellen
Ich versuche, eine Scala-JAR-Datei zu erstellen, um sie im Funken auszuführen. Ich verfolge dasLernprogramm [http://spark.apache.org/docs/latest/quick-start.html]. beim Versuch, eine JAR-Datei mit sbt as zu ...
Wie richte ich Spark unter Windows ein?
Ich versuche, Apache Spark unter Windows einzurichten. Nachdem ich ein bisschen gesucht habe, verstehe ich, dass der Standalone-Modus das ist, was ich will. Welche Binärdateien lade ich herunter, um Apache Spark unter Windows auszuführen? Ich ...
SQL über Spark Streaming
Dies ist der Code zum Ausführen einfacher SQL-Abfragen über Spark Streaming. import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.sql.SQLContext import ...
Wie verwende ich Hadoop InputFormats in Apache Spark?
ich habe ein klasseImageInputFormat in Hadoop, das Bilder von HDFS liest. Wie verwende ich mein InputFormat in Spark? Hier ist meinImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Apache Spark: map vs mapPartitions?
Was ist der Unterschied zwischen einemRDD's [https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.rdd.RDD] map undmapPartitions Methode? Und tutflatMap Benehmen wiemap oder wiemapPartitions? Vielen Dank. (edit) d. h. was ist der ...
"./Sbt/sbt assembly" -Fehler "Kein gültiger Befehl: assembly" für Apache Spark-Projekt
Ich habe Probleme mit der Installation von Apache Spark unter Ubuntu 13.04. Ich benutze Funken-0.8.1-Inkubation und beides./sbt/sbt update und./sbt/sbt compile funktioniert gut. Wenn ich jedoch a./sbt/sbt assembly Ich erhalte ...
Spark: Bewährte Methode zum Abrufen großer Datenmengen von RDD auf einem lokalen Computer
Ich habe eine große RDD (1 GB) im Garncluster. Auf lokalen Rechnern, die diesen Cluster benutzen, habe ich nur 512 MB. Ich möchte Werte in RDD auf meinem lokalen Computer durchlaufen. Ich kann collect () nicht verwenden, da es lokal zu große ...
Verbindung abgelehnt, wenn SparkPi lokal ausgeführt wird
Ich versuche, eine einfache Ausführung des SparkPi-Beispiels auszuführen. Ich habe den Master und einen Worker gestartet und dann den Job auf meinem lokalen "Cluster" ausgeführt. Am Ende erhalte ich jedoch eine Reihe von Fehlern, die alle mit ...
Was ist der Unterschied zwischen map und flatMap und ein guter Anwendungsfall für jeden?
Kann mir jemand den Unterschied zwischen map und flatMap erklären und was ist jeweils ein guter Anwendungsfall? Was bedeutet "Abflachen der Ergebnisse"? Wozu ist es gut?