La conversion d'un vecteur colonne dans un dataframe de nouveau dans une colonne de tableau

J'ai un dataframe avec deux colonnes dont l'une (appelé dist) est dense vecteur. Comment puis-je convertir de nouveau dans une colonne de tableau d'entiers.

+---+-----+
| id| dist| 
+---+-----+
|1.0|[2.0]|
|2.0|[4.0]|
|3.0|[6.0]|
|4.0|[8.0]|
+---+-----+

J'ai essayé d'utiliser plusieurs variantes de la suite de l'udf, mais il renvoie une erreur d'incompatibilité de type

val toInt4 = udf[Int, Vector]({ (a) => (a)})  

val result = df.withColumn("dist", toDf4(df("dist"))).select("dist")
Qu'est ce qu'un "standard" de la colonne?
Un Tableau par exemple
Donc, apparemment, vous avez envie de combiner toutes les colonnes dans un seul vecteur, à droite?
non, je veux juste convertir la colonne "dist" dans un tableau d'entiers au lieu d'un vecteur
Donc, vous voulez transform la Vector dans un Array, droit?

OriginalL'auteur ulrich | 2016-03-07

  1. 5

    Je pense que c'est plus facile de le faire en passant par le CA de l'API puis du dos.

    import org.apache.spark.mllib.linalg.DenseVector
import org.apache.spark.sql.DataFrame
import org.apache.spark.rdd.RDD
import sqlContext._

//The original data.
val input: DataFrame =
  sc.parallelize(1 to 4)
    .map(i => i.toDouble -> new DenseVector(Array(i.toDouble * 2)))
    .toDF("id", "dist")

//Turn it into an RDD for manipulation.
val inputRDD: RDD[(Double, DenseVector)] =
  input.map(row => row.getAs[Double]("id") -> row.getAs[DenseVector]("dist"))

//Change the DenseVector into an integer array.
val outputRDD: RDD[(Double, Array[Int])] =
  inputRDD.mapValues(_.toArray.map(_.toInt))

//Go back to a DataFrame.
val output = outputRDD.toDF("id", "dist")
output.show

    Vous bénéficiez de:

    +---+----+
| id|dist|
+---+----+
|1.0| [2]|
|2.0| [4]|
|3.0| [6]|
|4.0| [8]|
+---+----+

    OriginalL'auteur Daniel Darabos

  2. 9

    J'ai lutté pendant un certain temps pour obtenir la réponse de @ThomasLuechtefeld de travail. Mais a été en cours d'exécution dans cette très frustrant d'erreur:

    org.apache.spark.sql.AnalysisException: cannot resolve 'UDF(features_scaled)' due to data type mismatch: argument 1 requires vector type, however, '`features_scaled`' is of vector type.

    S'avère que j'ai besoin d'importer des DenseVector de la ml paquet au lieu de la mllib paquet.

    Donc cela a fonctionné pour moi:

    import org.apache.spark.ml.linalg.DenseVector
import org.apache.spark.sql.functions._

val vectorToColumn = udf{ (x:DenseVector, index: Int) => x(index) }
myDataframe.withColumn("clusters_scaled",vectorToColumn(col("features_scaled"),lit(0)))

    Oui, la seule différence est que la première ligne. Cela devrait absolument être un commentaire, mais je n'ai pas la réputation. Désolé!

    Vous pourriez aussi envisager de faire val vectorToColumn = udf{ (x:org.apache.spark.ml.linalg.Vector, index: Int) => x(index) } qu'il sera en mesure de gérer à la fois Dense et les rares vecteurs.

    OriginalL'auteur pwb2103

  3. 4

    Spark 2.0 vous pouvez faire quelque chose comme:

    import org.apache.spark.mllib.linalg.DenseVector
import org.apache.spark.sql.functions.udf

val vectorHead = udf{ x:DenseVector => x(0) }
df.withColumn("firstValue", vectorHead(df("vectorColumn")))
    mentionne que la première ligne doit être d'import org.apache.spark.ml.linalg.DenseVector

    OriginalL'auteur Thomas Luechtefeld