Suchergebnisse für Anfrage "apache-spark"

4 die antwort

argmax in Spark DataFrames: Abrufen der Zeile mit dem Maximalwert

Einen Funken DataFrame @ gebdf, Ich möchte den Maximalwert in einer bestimmten numerischen Spalte finden'values' und erhalte die Zeile (n), in der / denen dieser Wert erreicht wurde. Das kann ich natürlich machen: # it doesn't matter if I use ...

2 die antwort

Apache Spark Rest API

Ich verwende den Befehl spark-submit, den ich für die log4j-Eigenschaften habe, um eine Spark-submit wie folgt aufzurufen: /opt/spark-1.6.2-bin-hadoop2.6/bin/spark-submit \ --driver-java-options ...

6 die antwort

spark.sql.crossJoin.enabled für Spark 2.x

Ich verwende die Vorschau von Google DataProc Image 1.1 mit Spark 2.0.0. Um eine meiner Operationen abzuschließen, muss ich ein kartesisches Produkt abschließen. Seit Version 2.0.0 wurde ein Spark-Konfigurationsparameter erstellt (spark.sql.cross ...

TOP-Veröffentlichungen

2 die antwort

Spark 2.0.0 Arrays.asList funktioniert nicht - inkompatible Typen

Folgender Code funktioniert mit Spark 1.5.2, jedoch nicht mit Spark 2.0.0. Ich verwende Java 1.8. final SparkConf sparkConf = new SparkConf(); sparkConf.setMaster("local[4]"); // Four threads final JavaSparkContext javaSparkContext = ...

2 die antwort

Warum verschwinden meine Protokolle auf Anwendungsebene, wenn sie in oozie ausgeführt werden?

Ich verwende oozie in einer CDH5-Umgebung. Ich benutze auch die Oozie Web-Konsole. Ich kann keine Protokolle aus meiner Anwendung anzeigen. Ich kann Hadoop-Protokolle, Funkenprotokolle usw. sehen. aber ich sehe keine anwendungsspezifischen ...

2 die antwort

Leiten Sie columnNames dynamisch an cassandraTable () weiter. Select ()

Ich lese die Abfrage einer Datei zur Laufzeit und führe sie in der SPark + Cassandra-Umgebung aus. Ich führe aus: sparkContext.cassandraTable.("keyspaceName", "colFamilyName").select("col1", "col2", "col3").where("some condition = ...

4 die antwort

com.fasterxml.jackson.databind.JsonMappingException: Jackson-Version ist zu alt 2.5.3

Mein Betriebssystem ist OS X 10.11.6. Ich verwende Spark 2.0, Zeppelin 0.6, Scala 2.11 Wenn ich diesen Code in Zeppelin ausführe, erhalte ich eine Ausnahme von Jackson. Wenn ich diesen Code in Spark-Shell laufen lasse - keine Ausnahme. val ...

10 die antwort

Spark Twitter Streaming Ausnahme: (org.apache.spark.Logging) classnotfound

Ich versuche, ein Spark Twitter-Streaming-Beispiel mit Scala unter Verwendung von Maven zu erstellen, aber beim Ausführen wird der folgende Fehler angezeigt: Verursacht durch: java.lang.ClassNotFoundException: org.apache.spark.Logging Below ...

2 die antwort

Mit Spark DataFrame unterschiedliche Werte in einer Spalte abrufen

Verwenden von Spark 1.6.1 Ich muss bestimmte Werte für eine Spalte abrufen und dann eine bestimmte Transformation darüber durchführen. Die Spalte enthält mehr als 50 Millionen Datensätze und kann größer werden. Ich verstehe, dass ein @ zu ...

2 die antwort

Definieren einer UDF, die ein Array von Objekten in einem Spark-DataFrame akzeptiert?

Beim Arbeiten mit den DataFrames von Spark sind benutzerdefinierte Funktionen (User Defined Functions, UDFs) erforderlich, um Daten in Spalten zuzuordnen. Für UDFs müssen Argumenttypen explizit angegeben werden. In meinem Fall muss ich eine ...