Suchergebnisse für Anfrage "apache-spark"
Filter Pyspark-Datenrahmenspalte mit dem Wert None
Ich versuche, einen PySpark-Datenrahmen mit @ zu filterNone als Zeilenwert: df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'), ...
Spark Task mit Lag Window Funktion nicht serialisierbar
Ich habe festgestellt, dass nach der Verwendung einer Window-Funktion über einen DataFrame beim Aufrufen einer map () mit einer Funktion Spark eine "Task nicht serialisierbar" zurückgibt. Ausnahme Dies ist mein Code: val ...
ways, um groupByKey in apache Spark @ zu ersetz
Ich würde gerne wissen, wie ich @ am besten ersetzen ka groupByKey Operation mit einem anderen. rundsätzlich möchte ich ein @ erhaltRDD [(int, List [Measure]), meine Situation // consider measures like RDD of objects measures.keyBy(_.getId) ...
Differenz zwischen DataFrame, Dataset und RDD in Spark
Ich frage mich nur, was ist der Unterschied zwischen einemRDD undDataFrame (Spark 2.0.0 DataFrame ist ein reiner Typalias fürDataset[Row]) in Apache Spark? Kannst du eins in das andere konvertieren?
Wie Spalten explodieren?
Nach val df = Seq((1, Vector(2, 3, 4)), (1, Vector(2, 3, 4))).toDF("Col1", "Col2")Ich habe diesen DataFrame in Apache Spark: +------+---------+ | Col1 | Col2 | +------+---------+ | 1 |[2, 3, 4]| | 1 |[2, 3, 4]| +------+---------+Wie konvertiere ...
Wie kann ich eine Spalte als kategoriale Funktion in einem DataFrame für die Verwendung in ml @ deklariere
Wie kann ich deklarieren, dass eine bestimmte Spalte in meinemDataFrame enthält kategoriale Informationen? Ich habe einen Spark SQLDataFrame die ich aus einer datenbank geladen habe. Viele der Spalten in diesemDataFrame haben kategoriale ...
Spark SQL-Broadcast-Hash-Join
Ich versuche, mit SparkSQL einen Broadcast-Hash-Join für Datenrahmen durchzuführen, wie hier ...
Spark Dataframe groupBy mit der Sequenz als Schlüsselargumente [duplizieren]
Diese Frage hat hier bereits eine Antwort: Multiple Aggregate-Operationen für dieselbe Spalte eines Spark-Datenrahmens [/questions/34954771/multiple-aggregate-operations-on-the-same-column-of-a-spark-dataframe] 2 AntwortenIch habe einen Funken ...
VectorAssembler unterstützt nicht den StringType-Typ scala spark convert
Ich habe einen Datenrahmen, der Zeichenfolgenspalten enthält, und ich plane, ihn als Eingabe für k-means unter Verwendung von spark und scala zu verwenden. Ich konvertiere meine Zeichenfolgenspalten des Datenrahmens mit der ...
Spark Streaming: So starten Sie den Empfänger nach einem Empfängerausfall nicht neu
Wir verwenden einen benutzerdefinierten Funkenempfänger, der gestreamte Daten von einem bereitgestellten http-Link liest. Wenn der angegebene http-Link falsch ist, fällt der Empfänger aus. Das Problem ist, dass der Funke den Empfänger ständig ...