Suchergebnisse für Anfrage "apache-spark"
call of distinct und map together werfen NPE in die spark library
Ich bin mir nicht sicher, ob dies ein Fehler ist, also wenn Sie so etwas tun
GZIP-Unterstützung in Spark
Für ein Big-Data-Projekt plane ich die VerwendungFunke, das einige nette Features wie In-Memory-Berechnungen für wiederholte Workloads hat. Es kann auf lokal...
Spark-Konfiguration: SPARK_MEM vs. SPARK_WORKER_MEMORY
In spark-env.sh können die folgenden Umgebungsvariablen konfiguriert werden:
Spark: Was ist die beste Strategie, um eine 2-Tupel-Key-RDD mit einer Single-Key-RDD zu verbinden?
Ich habe zwei RDDs, denen ich beitreten möchte, und sie sehen folgendermaßen aus:
Setzen von textinputformat.record.delimiter in spark
In Spark ist es möglich, einige Hadoop-Konfigurationseinstellungen festzulegen, wie z.
Gibt es ein Spark- oder Giraph-Gerät mit Louvain-Methode?
Dies ist eine louvain Methode, um Gemeinschaft in sozialen Graphen zu finden.https://sites.google.com/site/findcommunities/Ich möchte es mit einer BSP-Method...
Wie liest man XML-Dateien aus dem Apache Spark Framework?
Ich bin hier auf ein Mini-Tutorial zur Datenvorverarbeitung mit spark gestoßen:http://ampcamp.berkeley.edu/big-data-mini-course/featurization.htmlIn diesem A...
Was macht der Funke, wenn ich nicht genug Gedächtnis habe?
Ich bin neu in Spark und habe festgestellt, dass die Dokumentation besagt, dass Spark Daten in den Speicher lädt, um die Iterationsalgorithmen zu beschleunig...
Wie verwende ich Hadoop InputFormats in Apache Spark?
ich habe ein klasseImageInputFormat in Hadoop, das Bilder von HDFS liest. Wie verwende ich mein InputFormat in Spark? Hier ist meinImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Apache Spark: map vs mapPartitions?
Was ist der Unterschied zwischen einemRDD's [https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.rdd.RDD] map undmapPartitions Methode? Und tutflatMap Benehmen wiemap oder wiemapPartitions? Vielen Dank. (edit) d. h. was ist der ...