Garniture colonne de chaîne dans PySpark dataframe

Je suis débutant en Python et d'Étincelles. Après la création d'un DataFrame de CSV fichier, je voudrais savoir comment je peux découper une colonne. J'ai essayer:

df = df.withColumn("Product", df.Product.strip())

df est mon bloc de données, Product est une colonne dans ma table

Mais je vois toujours l'erreur:

Column object is not callable

Avez-vous des suggestions?

N'a la solution???

OriginalL'auteur minh-hieu.pham | 2016-02-02

  1. 12

    À partir de la version 1.5, Spark SQL fournit deux fonctions spécifiques pour la coupe d'espace blanc, ltrim et rtrim (de la recherche pour "couper" dans le DataFrame de la documentation); vous en aurez besoin pour importer pyspark.sql.functions premier. Voici un exemple:

     from pyspark.sql import SQLContext
 from pyspark.sql.functions import *
 sqlContext = SQLContext(sc)

 df = sqlContext.createDataFrame([(' 2015-04-08 ',' 2015-05-10 ')], ['d1', 'd2']) # create a dataframe - notice the extra whitespaces in the date strings
 df.collect()
 # [Row(d1=u' 2015-04-08 ', d2=u' 2015-05-10 ')]
 df = df.withColumn('d1', ltrim(df.d1)) # trim left whitespace from column d1
 df.collect()
 # [Row(d1=u'2015-04-08 ', d2=u' 2015-05-10 ')]
 df = df.withColumn('d1', rtrim(df.d1))  # trim right whitespace from d1
 df.collect()
 # [Row(d1=u'2015-04-08', d2=u' 2015-05-10 ')]
    Malheureusement, l'Étincelle de la fonction trim() ne pas couper le blanc de l'espace, mais seulement des espaces. Ce comportement a été changé avec le issues.apache.org/jira/browse/SPARK-17299 . Pour aussi découper le blanc de l'espace comme "\t, \n", etc. on a besoin d'une expression régulière.

    OriginalL'auteur desertnaut

  2. 8

    La pyspark version de la bande de fonction est appelée garniture.
    Garniture va "couper dans les espaces à partir des deux extrémités de la chaîne spécifiée dans la colonne".
    Assurez-vous d'importer la fonction, et de placer la colonne de rognage à l'intérieur de votre fonction.

    La suivante devrait fonctionner:

    from pyspark.sql.functions import trim
df = df.withColumn("Product", trim(df.Product))

    OriginalL'auteur jdhaen

  3. 6
    from pyspark.sql.functions import trim

df = df.withColumn("Product", trim(col("Product")))

    OriginalL'auteur novice

  4. 5

    Je l'ai fait avec l'udf comme ceci:

    from pyspark.sql.functions import udf

def trim(string):
    return string.strip()
trim=udf(trim)

df = sqlContext.createDataFrame([(' 2015-04-08 ',' 2015-05-10 ')], ['d1', 'd2'])

df2 = df.select(trim(df['d1']).alias('d1'),trim(df['d2']).alias('d2'))

    de sortie ressemble à ceci:

    df.show()
df2.show()
+------------+------------+
|          d1|          d2|
+------------+------------+
| 2015-04-08 | 2015-05-10 |
+------------+------------+

+----------+----------+
|        d1|        d2|
+----------+----------+
|2015-04-08|2015-05-10|
+----------+----------+

    OriginalL'auteur Babu