Suchergebnisse für Anfrage "apache-spark"
argmax in Spark DataFrames: Abrufen der Zeile mit dem Maximalwert
Einen Funken DataFrame @ gebdf, Ich möchte den Maximalwert in einer bestimmten numerischen Spalte finden'values' und erhalte die Zeile (n), in der / denen dieser Wert erreicht wurde. Das kann ich natürlich machen: # it doesn't matter if I use ...
Apache Spark Rest API
Ich verwende den Befehl spark-submit, den ich für die log4j-Eigenschaften habe, um eine Spark-submit wie folgt aufzurufen: /opt/spark-1.6.2-bin-hadoop2.6/bin/spark-submit \ --driver-java-options ...
spark.sql.crossJoin.enabled für Spark 2.x
Ich verwende die Vorschau von Google DataProc Image 1.1 mit Spark 2.0.0. Um eine meiner Operationen abzuschließen, muss ich ein kartesisches Produkt abschließen. Seit Version 2.0.0 wurde ein Spark-Konfigurationsparameter erstellt (spark.sql.cross ...
Spark 2.0.0 Arrays.asList funktioniert nicht - inkompatible Typen
Folgender Code funktioniert mit Spark 1.5.2, jedoch nicht mit Spark 2.0.0. Ich verwende Java 1.8. final SparkConf sparkConf = new SparkConf(); sparkConf.setMaster("local[4]"); // Four threads final JavaSparkContext javaSparkContext = ...
Warum verschwinden meine Protokolle auf Anwendungsebene, wenn sie in oozie ausgeführt werden?
Ich verwende oozie in einer CDH5-Umgebung. Ich benutze auch die Oozie Web-Konsole. Ich kann keine Protokolle aus meiner Anwendung anzeigen. Ich kann Hadoop-Protokolle, Funkenprotokolle usw. sehen. aber ich sehe keine anwendungsspezifischen ...
Leiten Sie columnNames dynamisch an cassandraTable () weiter. Select ()
Ich lese die Abfrage einer Datei zur Laufzeit und führe sie in der SPark + Cassandra-Umgebung aus. Ich führe aus: sparkContext.cassandraTable.("keyspaceName", "colFamilyName").select("col1", "col2", "col3").where("some condition = ...
com.fasterxml.jackson.databind.JsonMappingException: Jackson-Version ist zu alt 2.5.3
Mein Betriebssystem ist OS X 10.11.6. Ich verwende Spark 2.0, Zeppelin 0.6, Scala 2.11 Wenn ich diesen Code in Zeppelin ausführe, erhalte ich eine Ausnahme von Jackson. Wenn ich diesen Code in Spark-Shell laufen lasse - keine Ausnahme. val ...
Spark Twitter Streaming Ausnahme: (org.apache.spark.Logging) classnotfound
Ich versuche, ein Spark Twitter-Streaming-Beispiel mit Scala unter Verwendung von Maven zu erstellen, aber beim Ausführen wird der folgende Fehler angezeigt: Verursacht durch: java.lang.ClassNotFoundException: org.apache.spark.Logging Below ...
Mit Spark DataFrame unterschiedliche Werte in einer Spalte abrufen
Verwenden von Spark 1.6.1 Ich muss bestimmte Werte für eine Spalte abrufen und dann eine bestimmte Transformation darüber durchführen. Die Spalte enthält mehr als 50 Millionen Datensätze und kann größer werden. Ich verstehe, dass ein @ zu ...
Definieren einer UDF, die ein Array von Objekten in einem Spark-DataFrame akzeptiert?
Beim Arbeiten mit den DataFrames von Spark sind benutzerdefinierte Funktionen (User Defined Functions, UDFs) erforderlich, um Daten in Spalten zuzuordnen. Für UDFs müssen Argumenttypen explizit angegeben werden. In meinem Fall muss ich eine ...