A sequência de caracteres da coluna Spark substitui quando presente em outra coluna (linha)
Eu gostaria de remover as cordas decol1 que estão presentes emcol2:
val df = spark.createDataFrame(Seq(
("Hi I heard about Spark", "Spark"),
("I wish Java could use case classes", "Java"),
("Logistic regression models are neat", "models")
)).toDF("sentence", "label")
usandoregexp_replace outranslate ref:funções de faísca api
val res = df.withColumn("sentence_without_label", regexp_replace
(col("sentence") , "(?????)", "" ))
de modo ares olha como abaixo:
