Comment puis-je convertir une colonne WrappedArray dans une structure de données spark en Strings?

Je suis en train de convertir une colonne qui contient l'Array[String] à la Chaîne, mais j'ai toujours ce message d'erreur

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;

Voici le morceau de code

val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(","))  
val dfWithString=df.select($"arrayCol").withColumn("arrayString",
      mkString($"arrayCol"))

source d'informationauteur bdguy

  1. 23

    WrappedArray n'est pas un Array (qui est plain old Java Array pas un natve Scala collection). Vous pouvez changer la signature:

    import scala.collection.mutable.WrappedArray

(arrayCol: WrappedArray[String]) => arrayCol.mkString(",")

    ou utiliser l'un de la aux supertypes comme Seq:

    (arrayCol: Seq[String]) => arrayCol.mkString(",")

    Dans les dernières versions de Spark vous pouvez utiliser concat_ws à la place:

    import org.apache.spark.sql.functions.concat_ws

df.select(concat_ws(",", $"arrayCol"))
  2. 1

    Le code du travail pour moi:

    df.select("wifi_ids").rdd.map(row =>row.get(0).asInstanceOf[WrappedArray[WrappedArray[String]]].toSeq.map(x=>x.toSeq.apply(0)))

    Dans votre cas,je suppose que c'est:

    val mkString = udf(arrayCol=>arrayCol.asInstanceOf[WrappedArray[String]].toArray.mkString(","))  
val dfWithString=df.select($"arrayCol").withColumn("arrayString",mkString($"arrayCol"))