Comment “négatif sélectionnez” colonnes de l'étincelle du dataframe

Je ne peux pas la comprendre, mais suppose que c'est simple. J'ai une étincelle dataframe df. Cette df a les colonnes "A","B" et "C". Maintenant, disons que j'ai un Tableau contenant le nom des colonnes de cette df:

column_names = Array("A","B","C")

Je voudrais faire un df.select() de telle manière, que je peux spécifier les colonnes pas pour sélectionner.
Exemple: disons que je ne veux pas de sélectionner les colonnes "B". J'ai essayé

df.select(column_names.filter(_!="B"))

mais cela ne fonctionne pas, comme

org.apache.spark.sql.DataFrame
ne peut pas être appliqué à (Array[String])

Donc, ici il dit qu'il doit travailler avec un Seq place. Cependant, en essayant

df.select(column_names.filter(_!="B").toSeq)

résultats dans

org.apache.spark.sql.DataFrame
ne peut pas être appliqué à (Seq[String]).

Ce que je fais mal?

OriginalL'auteur Blaubaer | 2015-07-15

  1. 32

    Depuis Étincelle 1.4 vous pouvez utiliser goutte méthode:

    Scala:

    case class Point(x: Int, y: Int)
val df = sqlContext.createDataFrame(Point(0, 0) :: Point(1, 2) :: Nil)
df.drop("y")

    Python:

    df = sc.parallelize([(0, 0), (1, 2)]).toDF(["x", "y"])
df.drop("y")
## DataFrame[x: bigint]
    Merci! Je n'étais pas au courant de cela, mais aussi je suis toujours sur la spark 1.3.
    Je me demande si il une méthode à la baisse par des emplacements de colonne, quelque chose comme df.drop(1) ou df.drop(col(1))
    @DavidArenburg df.drop(df.columns(i))?
    Merci! Bonne idée, si elle a besoin de crochets comme dans df.drop(df.columns[i])
    Python après tout? 🙂

    OriginalL'auteur zero323

  2. 7

    J'ai eu le même problème et résolu de cette façon (oaffdf est un dataframe):

    val dropColNames = Seq("col7","col121")
val featColNames = oaffdf.columns.diff(dropColNames)
val featCols = featColNames.map(cn => org.apache.spark.sql.functions.col(cn))
val featsdf = oaffdf.select(featCols: _*)

    https://forums.databricks.com/questions/2808/select-dataframe-columns-from-a-sequence-of-string.html

    OriginalL'auteur Edi Bice

  3. 5

    OK, c'est moche, mais ce rapide étincelle session shell montre quelque chose qui fonctionne:

    scala> val myRDD = sc.parallelize(List.range(1,10))
myRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[17] at parallelize at <console>:21
scala> val myDF = myRDD.toDF("a")
myDF: org.apache.spark.sql.DataFrame = [a: int]
scala> val myOtherRDD = sc.parallelize(List.range(1,10))
myOtherRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[20] at parallelize at <console>:21
scala> val myotherDF = myRDD.toDF("b")
myotherDF: org.apache.spark.sql.DataFrame = [b: int]
scala> myDF.unionAll(myotherDF)
res2: org.apache.spark.sql.DataFrame = [a: int]
scala> myDF.join(myotherDF)
res3: org.apache.spark.sql.DataFrame = [a: int, b: int]
scala> val twocol = myDF.join(myotherDF)
twocol: org.apache.spark.sql.DataFrame = [a: int, b: int]
scala> val cols = Array("a", "b")
cols: Array[String] = Array(a, b)
scala> val selectedCols = cols.filter(_!="b")
selectedCols: Array[String] = Array(a)
scala> twocol.select(selectedCols.head, selectedCols.tail: _*)
res4: org.apache.spark.sql.DataFrame = [a: int]

    Providings varargs à une fonction qui requiert l'un est traité dans d'autres AINSI en question. La signature de select est là pour s'assurer que votre liste de colonnes sélectionnées n'est pas vide, ce qui rend la conversion à partir de la liste des colonnes sélectionnées pour varargs un peu plus complexe.

    Merci -- varargs était le concept qui me manquait.

    OriginalL'auteur huitseeker

  4. 1
    val columns = Seq("A","B","C")
df.select(columns.diff(Seq("B")))

    OriginalL'auteur oluies

  5. 1

    Dans pyspark vous pouvez faire

    df.select(list(set(df.columns) - set(["B"])))

    À l'aide de plus d'une ligne, vous pouvez également faire

    cols = df.columns
cols.remove("B")
df.select(cols)

    OriginalL'auteur asmaier

  6. 0

    Sera possible de le faire par l'intermédiaire de [SPARK-12139] REGEX Spécification de la Colonne pour les Requêtes Hive

    https://issues.apache.org/jira/browse/SPARK-12139

    OriginalL'auteur Tagar

  7. -3

    //selectWithout vous permet de spécifier les colonnes à omettre:

    df.selectWithout("B")
    Quelle est cette méthode? N'apparaît pas dans la dernière API doc: spark.apache.org/docs/latest/api/scala/...
    erreur: la valeur selectWithout n'est pas un membre de org.apache.spark.sql.DataFrame

    OriginalL'auteur danny