Appliquer la même fonction à tous les domaines de l'étincelle dataframe ligne

J'ai dataframe dans lequel j'ai environ 1000 colonnes ( variable).

Je veux faire toutes les valeurs majuscules.

Ici est l'approche que j'ai pensé , peut vous suggérer si c'est la meilleure façon.

  • Prendre la ligne
  • Trouver de schéma et de les stocker dans la gamme et de trouver combien de champs sont là.
  • carte dans chaque ligne dans le bloc de données et jusqu'à la limite du nombre d'éléments dans le tableau
  • appliquer la fonction majuscule chaque champs et retour ligne
InformationsquelleAutor user2230605 | 2015-12-02
  1. 28

    Tout simplement si vous souhaitez appliquer les mêmes fonctions pour toutes les colonnes à quelque chose comme cela devrait être suffisant:

    import org.apache.spark.sql.functions.{col, upper}

val df = sc.parallelize(
  Seq(("a", "B", "c"), ("D", "e", "F"))).toDF("x", "y", "z")
df.select(df.columns.map(c => upper(col(c)).alias(c)): _*).show

//+---+---+---+
//|  x|  y|  z|
//+---+---+---+
//|  A|  B|  C|
//|  D|  E|  F|
//+---+---+---+

    ou en Python 

    from pyspark.sql.functions import col, upper

df = sc.parallelize([("a", "B", "c"), ("D", "e", "F")]).toDF(("x", "y", "z"))
df.select(*(upper(col(c)).alias(c) for c in df.columns)).show()

##  +---+---+---+
##  |  x|  y|  z|
##  +---+---+---+
##  |  A|  B|  C|
##  |  D|  E|  F|
##  +---+---+---+

    Voir aussi: SparkSQL: appliquer des fonctions d'agrégation pour une liste de la colonne

    • Merci qu'est-ce que cela fait en anglais .alias(c)): _*
    • alias définit un nom pour la colonne. :_* dénote varargs syntaxe en Scala. En d'autres termes, il passe chaque élément de la séquence comme un argument pour select.
    InformationsquelleAutor zero323
  2. 1

    J'avais besoin de faire similaire, mais a dû écrire ma propre fonction pour convertir des chaînes vides à l'intérieur d'un dataframe à null. C'est ce que j'ai fait. 

    import org.apache.spark.sql.functions.{col, udf} 
import spark.implicits._ 

def emptyToNull(_str: String): Option[String] = {
  _str match {
    case d if (_str == null || _str.trim.isEmpty) => None
    case _ => Some(_str)
  }
}
val emptyToNullUdf = udf(emptyToNull(_: String))

val df = Seq(("a", "B", "c"), ("D", "e ", ""), ("", "", null)).toDF("x", "y", "z")
df.select(df.columns.map(c => emptyToNullUdf(col(c)).alias(c)): _*).show

+----+----+----+
|   x|   y|   z|
+----+----+----+
|   a|   B|   c|
|   D|  e |null|
|null|null|null|
+----+----+----+

    Voici un plus raffiné fonction de emptyToNull à l'aide des options au lieu de null. 

    def emptyToNull(_str: String): Option[String] = Option(_str) match {
  case ret @ Some(s) if (s.trim.nonEmpty) => ret
  case _ => None
}
    InformationsquelleAutor Tony Fraser