Suchergebnisse für Anfrage "apache-spark"
So konvertieren Sie List nach JavaRDD
Wir wissen, dass es in spark eine Methode rdd.collect gibt, die RDD in eine Liste konvertiert. List<String> f= rdd.collect(); String[] array = f.toArray(new String[f.size()]); Ich versuche in meinem Projekt genau das Gegenteil zu tun. Ich habe ...
Wie weit geht der Spark-RDD-Cache?
Sag ich habe drei RDD Transformationsfunktion aufgerufen auf rdd1: def rdd2 = rdd1.f1 def rdd3 = rdd2.f2 def rdd4 = rdd3.f3 Jetzt möchte ich @ cachrdd4, also rufe ichrdd4.cache(). Meine Frage Wird nur das Ergebnis der Aktion aufrdd4 ...
Spark Indefinite Waiting mit der Aufforderung, Kartenausgabeorte für die Zufallswiedergabe zu senden.
Meine Jobs hängen oft mit dieser Art von Nachricht: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Wäre toll, wenn jemand erklären könnte, was Spark macht, wenn er diese ...
Wie konfiguriere ich hbase in spark?
Was sind die Schritte, um den Funken mit hbase zu verbinden? Ich habe die Master-Adressen für beide. Füge ich einfach die hbase-Adresse in den spark classpath ein?
Warum schlägt der Spark-Job mit "zu vielen offenen Dateien" fehl?
Während der Zufallsphase meines Spark-Jobs erhalte ich "zu viele offene Dateien". Warum öffnet mein Job so viele Dateien? Welche Schritte kann ich unternehmen, um meinen Job zum Erfolg zu führen?
java.io.EOFException auf Spark EC2-Cluster beim programmgesteuerten Senden von Aufträgen
ch brauche deine Hilfe, um zu verstehen, was ich falsch mach Die Absicht meines Experiments ist es, einen Funkenjob programmgesteuert auszuführen, anstatt ./spark-shell oder ./spark-submit zu verwenden (beide funktionieren für mich) Umgebung: ...
Wie wird das Blockieren von E / A in einem Apache-Spark-Job durchgeführt?
Was passiert, wenn ich beim Durchlaufen von RDD Werte im Datensatz durch Aufrufen eines externen (blockierenden) Dienstes berechnen muss? Wie denkst du, könnte das erreicht werden? val Werte:Future[RDD[Double]] = Future sequence tasks Ich habe ...
Alle Dateien von HDFS rekursiv in spark java api lesen
Ich verwende spark, um Daten aller Dateien von HDFS in einer einzelnen RDD aus einem Verzeichnis und seinen Unterverzeichnissen zu lesen. Ich konnte keine effiziente Methode finden, um das zu tun. Also habe ich versucht, einen benutzerdefinierten ...
Wie arbeitet DAG unter der Decke in RDD?
DasSpark Forschungsbericht [http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf] hat ein neues verteiltes Programmiermodell gegenüber dem klassischen Hadoop MapReduce verschrieben und behauptet, die Vereinfachung und die enorme ...
Überprüfen von Daten in Cassandra über Spark in einem Java Maven-Projekt
Ich versuche, einen einfachen Code zu erstellen, in dem ich ein Schema erstelle, einige Tabellen einfüge, dann einige Informationen abrufe und sie drucke. Ich erhalte jedoch einen Fehler. Ich verwende den Datastax Cassandra-Zündkerzenstecker. ...