Suchergebnisse für Anfrage "apache-spark"
Spark DataFrame übergibt leere Zeichenfolge in OneHotEncoder
Ich importiere eine CSV-Datei (mit spark-csv) in einDataFrame das hat leerString Werte. Bei Anwendung desOneHotEncoder, die Anwendung stürzt mit Fehler @ requirement failed: Cannot have an empty string for name.. Kann ich das umgehen? Ich konnte ...
Primärschlüssel mit Apache Spark
Ich habe eine JDBC-Verbindung mit Apache Spark und PostgreSQL und möchte einige Daten in meine Datenbank einfügen. Wenn ich @ benutappend mode Ich muss @ angebid für jedesDataFrame.Row. Gibt es eine Möglichkeit für Spark, Primärschlüssel zu ...
Wie drücke ich eine Spalte aus, deren Name Leerzeichen in Spark SQL enthält?
Wir haben versucht, den Spaltennamen in eckige Klammern zu setzen.[column name], einfache und doppelte Anführungszeichen und Backticks, keiner von ihnen funktioniert. Enthält der Spark SQL-Support Spalten, deren Name Leerzeichen ...
Master muss mit Garn beginnen, Funken
Ich erhalte diesen Fehler, wenn das SparkPi-Beispiel ausgeführt werden soll. beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class ...
Mehrere verschiedene Spalten mit Spark Dataframe-Scala in Map-Spalten konvertieren
Ich habe einen Datenrahmen mit der Spalte:user, address1, address2, address3, phone1, phone2 und so weiter. Ich möchte diesen Datenrahmen in - @ konvertieruser, address, phone where address = Map("address1" -> address1.value, "address2" -> ...
Spark 1.5.1, MLLib Random Forest Probability
Ich verwende Spark 1.5.1 mit MLLib. Ich habe mit MLLib ein zufälliges Waldmodell erstellt und benutze dieses Modell nun zur Vorhersage. Ich kann die Vorhersagekategorie (0.0 oder 1.0) mit der Funktion .predict finden. Ich kann jedoch die Funktion ...
Spark - Korrelationsmatrix aus Bewertungsdatei
Ich bin ein Neuling in Scala und Spark und kann aus einer Bewertungsdatei keine Korrelationsmatrix erstellen. Es ist ähnlich wiediese Frag [https://stackoverflow.com/questions/32402475/spark-how-to-create-a-sparse-matrix-from-item-ratings] aber ...
Wie verwende ich mit pyspark.sql.funtions.when () mehrere Bedingungen?
Ich habe einen Datenrahmen mit einigen Spalten. Jetzt möchte ich eine neue Spalte aus 2 anderen Spalten ableiten: from pyspark.sql import functions as F new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0 & df["col-2"] > 0.0, ...
Spark UDF mit varargs
Ist es eine einzige Option, alle Argumente bis zu 22 aufzulisten, wie in der Dokumentation ...
Ungefangene Ausnahmebehandlung in Spark
Ich arbeite an einer Java-basierten Spark-Streaming-Anwendung, die auf Nachrichten reagiert, die über ein Kafka-Thema eingehen. Für jede Nachricht führt die Anwendung eine Verarbeitung durch und schreibt die Ergebnisse in ein anderes Kafka-Thema ...