Löschen mehrerer Spalten aus Spark-Datenrahmen durch Durchlaufen der Spalten aus einer Scala-Liste mit Spaltennamen
Ich habe einen Datenrahmen mit Spalten um 400. Ich möchte 100 Spalten gemäß meiner Anforderung löschen. Deshalb habe ich eine Scala-Liste mit 100 Spaltennamen erstellt. Und dann möchte ich durch eine for-Schleife iterieren, um die Spalte in jeder for-Schleife-Iteration tatsächlich fallen zu lassen.
Below ist der Code.
final val dropList: List[String] = List("Col1","Col2",...."Col100”)
def drpColsfunc(inputDF: DataFrame): DataFrame = {
for (i <- 0 to dropList.length - 1) {
val returnDF = inputDF.drop(dropList(i))
}
return returnDF
}
val test_df = drpColsfunc(input_dataframe)
test_df.show(5)