L'étincelle de la colonne de la chaîne de remplacer lorsqu'ils sont présents dans d'autres de la colonne (ligne)

Je voudrais enlever les chaînes de col1 qui sont présents dans col2:

val df = spark.createDataFrame(Seq(
("Hi I heard about Spark", "Spark"),
("I wish Java could use case classes", "Java"),
("Logistic regression models are neat", "models")
)).toDF("sentence", "label")

à l'aide de regexp_replace ou translate ref: spark fonctions de l'api

val res = df.withColumn("sentence_without_label", regexp_replace 
(col("sentence") , "(?????)", "" ))

de sorte que res regarde comme ci-dessous:

L'étincelle de la colonne de la chaîne de remplacer lorsqu'ils sont présents dans d'autres de la colonne (ligne)

OriginalL'auteur Karol Sudol | 2017-08-10

  1. 5

    Vous pouvez simplement utiliser regexp_replace

    df5.withColumn("sentence_without_label", regexp_replace($"sentence" , lit($"label"), lit("" )))

    ou vous pouvez utiliser de simples udf fonction comme ci-dessous 

    val df5 = spark.createDataFrame(Seq(
  ("Hi I heard about Spark", "Spark"),
  ("I wish Java could use case classes", "Java"),
  ("Logistic regression models are neat", "models")
)).toDF("sentence", "label")

val replace = udf((data: String , rep : String)=>data.replaceAll(rep, ""))

val res = df5.withColumn("sentence_without_label", replace($"sentence" , $"label"))

res.show()

    De sortie: 

    +-----------------------------------+------+------------------------------+
|sentence                           |label |sentence_without_label        |
+-----------------------------------+------+------------------------------+
|Hi I heard about Spark             |Spark |Hi I heard about              |
|I wish Java could use case classes |Java  |I wish  could use case classes|
|Logistic regression models are neat|models|Logistic regression  are neat |
+-----------------------------------+------+------------------------------+
    pas besoin d'un udf ici

    OriginalL'auteur Shankar Koirala

  2. 7

    Si label juste un littéral, il est assez simple:

    import org.apache.spark.sql.functions._

df.withColumn("sentence_without_label", 
  regexp_replace(col("sentence"), col("label"), lit(""))).show(false)

+-----------------------------------+------+------------------------------+
|sentence                           |label |sentence_without_label        |
+-----------------------------------+------+------------------------------+
|Hi I heard about Spark             |Spark |Hi I heard about              |
|I wish Java could use case classes |Java  |I wish  could use case classes|
|Logistic regression models are neat|models|Logistic regression  are neat |
+-----------------------------------+------+------------------------------+

    Spark 1.6 vous pouvez faire de même avec expr:

    df.withColumn(
  "sentence_without_label",
  expr("regexp_replace(sentence, label, '')"))

    OriginalL'auteur hi-zir