Suchergebnisse für Anfrage "apache-spark"
Spark letzte Aufgabe dauert 100x länger als die ersten 199, wie man @ verbesse
Beim Ausführen von Abfragen mit Datenrahmen treten einige Leistungsprobleme auf. Ich habe in meinen Nachforschungen festgestellt, dass langfristige Aufgaben ein Zeichen dafür sein können, dass Daten nicht optimal gestört werden, aber keinen ...
Verbindung zum Funkenmaster fehlgeschlagen: InvalidClassException: org.apache.spark.rpc.RpcEndpointRef; lokale Klasse inkompatibel
Ich habe Spark auf einem Linux-Computer installiert. Die Version ist spark-1.6.2-bin-hadoop2.6.tgz.und dann starte ich den Spark mit ./sbin/start-all.sIch habe versucht, die Beispiele JavaWordCount.java in Eclipse auszuführen. aber immer ...
Jackson-Version ist zu alt
Ich habe die folgendenbuild.sbt Datei name := "myProject" version := "1.0" scalaVersion := "2.11.8" javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled") dependencyOverrides ++= ...
Wie kann ich herausfinden, welcher Code auf dem Treiber oder Executor ausgeführt wird?
Ich bin neu bei Spark. Wie kann man wissen, welcher Code auf dem Treiber und welcher auf den Executoren ausgeführt wird? üssen wir immer versuchen, so zu codieren, dass auf den Executoren alles läuft? Gibt es Empfehlungen / Möglichkeiten, wie ...
Zur Begrenzung des großen RDD
Ich lese viele Bilder und würde gerne einen kleinen Teil davon für die Entwicklung bearbeiten. Als Ergebnis versuche ich zu verstehen, wieFunk [/questions/tagged/spark] undPytho [/questions/tagged/python] könnte das möglich machen: In [1]: d = ...
Scala case class ignoriert den Import in der Spark-Shell
Ich hoffe, es gibt eine offensichtliche Antwort auf diese Frage! Ich habe gerade ein Upgrade auf Spark v2.0 durchgeführt und habe ein seltsames Problem mit dem spark-shell (Scala 2.11 Build). Wenn ich die folgende minimale Skala ...
Ist foreachRDD auf dem Treiber ausgeführt?
Ich versuche, einige in einer JMS-Warteschlange (QPID) empfangene XML-Daten mit Spark Streaming zu verarbeiten. Nachdem ich xml als DStream erhalten habe, konvertiere ich sie in Dataframes, damit ich sie mit einigen meiner statischen Daten in ...
Gibt es eine bessere Schnittstelle, um Zeppelin Highcharts-Unterstützung hinzuzufügen?
Apache Zeppelin [https://zeppelin.apache.org/] hat gute Unterstützung für AngularJS [https://angularjs.org/]. Während es eine Lücke zwischen Scala und Javascript gibt. Ich versuche, @ hinzuzufüg Highcharts [http://www.highcharts.com/] ...
So überprüfen Sie die Spark-Version [closed]
Ich möchte die Spark-Version in cdh 5.7.0 überprüfen. Ich habe im Internet gesucht, aber nicht verstehen können. Bitte helfen Sie. Vielen Dan
Lesen in mehreren Dateien, die im tar.gz-Archiv komprimiert wurden, in Spark [duplizieren]
Diese Frage hat hier bereits eine Antwort: Lesen Sie ganze Textdateien aus einer Komprimierung in Spark [/questions/36604145/read-whole-text-files-from-a-compression-in-spark] 2 Antworten Ich versuche, eine Spark-RDD aus mehreren in einen Teer ...