Scala Étincelle DataFrame : dataFrame.sélectionnez plusieurs colonnes étant donné une Séquence de noms de colonne

val columnName=Seq("col1","col2",....."coln");

Est-il un moyen de faire dataframe.sélectionnez l'opération pour obtenir dataframe contenant uniquement les noms de colonne spécifié .
Je sais que je peux faire dataframe.select("col1","col2"...)
mais le columnNameest généré lors de l'exécution.
Je pourrais faire dataframe.select() à plusieurs reprises pour chaque nom de colonne dans une boucle.Il aura toute la performance, les frais généraux?. Est-il un autre moyen plus simple pour effectuer cette opération?

InformationsquelleAutor Himaprasoon | 2016-03-21
  1. 46
    val columnNames = Seq("col1","col2",....."coln")

//using the string column names:
val result = dataframe.select(columnNames.head, columnNames.tail: _*)

//or, equivalently, using Column objects:
val result = dataframe.select(columnNames.map(c => col(c)): _*)
    • tail renvoie la séquence à l'exclusion du premier élément (head); : _* transforme une collection dans un vararg argument utilisé lors de l'appel d'une méthode attend un vararg, comme choisir n': def select(col: String, cols: String*)
    • Il l'appelle, a répété des paramètres, vous pouvez vérifier plus à ce sujet ici - chapitre 4 section 2.
    • qui ne compile pas, vérifier les signatures de select - c'est soit select(col: String, cols: String*): DataFrame pour Cordes, ou select(cols: Column*): DataFrame pour les Colonnes, il n'y a pas select(cols: String*): DataFrame. Voir spark.apache.org/docs/latest/api/scala/...
    InformationsquelleAutor Tzach Zohar
  2. 2

    Depuis dataFrame.select() s'attend à une séquence de colonnes et nous avons une séquence de chaînes de caractères, nous devons convertir notre séquence à un List de cols et convertir la liste de la séquence. columnName.map(name => col(name)): _* donne une séquence de colonnes à partir d'une séquence de chaînes de caractères, ce qui peut être passé en paramètre à select():

      val columnName = Seq("col1", "col2")
  val DFFiltered = DF.select(columnName.map(name => col(name)): _*)
    • Veuillez ajouter un peu de contexte et d'explication pour cette réponse.
    • je suis à l'aide de spark version 2.3.1 , lorsque j'utilise le ci-dessus, il donne une erreur"incompatibilité de type : trouvé: org.apache.spark.sql.Colonne , nécessaire :Seq[?] , Quel est le problème ici?
    InformationsquelleAutor UserszrKs