Convertir pyspark chaîne de format de date

J'ai une date pyspark dataframe avec une colonne de type chaîne dans le format de MM-dd-yyyy et je suis tenté de le convertir en une colonne de date.

J'ai essayé:

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

et je reçois une chaîne de valeurs null. Quelqu'un peut-il aider?

Sauf si vous utilisez l'un des TimeSeriesRDD addons (voir l'Étincelle 2016 de la conférence pour discussion, il ya deux que je connais, mais les deux sont encore en développement), il n'y a pas beaucoup de grands outils pour le temps de la série. En conséquence, j'ai trouvé il y a rarement une raison à la peine de convertir des chaînes de type datetime objets, si votre objectif est verious types de groupBy ou rééchantillonnage des opérations. Il vous suffit de lancer sur les colonnes de la chaîne.
L'analyse sera réalisée en utilisant peu ou pas de groupBy mais plutôt des études longitudinales de dossiers médicaux. Donc être capable de manipuler la date est importante
Double Possible de Pourquoi je reçois des résultats nuls de date_format() PySpark fonction?

InformationsquelleAutor Jenks | 2016-06-28

Il est possible (à préférer?) pour ce faire, sans un udf:

> from pyspark.sql.functions import unix_timestamp
> from pyspark.sql.functions import from_unixtime

> df = spark.createDataFrame([("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], ['date_str'])

> df2 = df.select('date_str', from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date'))

> df2

DataFrame[date_str: string, date: timestamp]

> df2.show()

+----------+--------------------+
|  date_str|                date|
+----------+--------------------+
|11/25/1991|1991-11-25 00:00:...|
|11/24/1991|1991-11-24 00:00:...|
|11/30/1991|1991-11-30 00:00:...|
+----------+--------------------+

Mise à jour (1/10/2018):

Pour Spark 2.2+ la meilleure façon de le faire est probablement à l'aide de la to_date ou to_timestamp fonctions qui prennent en charge l' format argument. À partir de la documentation:

>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]

C'est la réponse correcte. À l'aide d'un udf pour cela détruira vos performances.
de pyspark.sql.les fonctions d'importation from_unixtime, unix_timestamp
Notez que vous pouvez trouver un java format de date de référence ici: docs.oracle.com/javase/6/docs/api/java/text/...
Notez également que to_date() avec l'argument format est spark 2.2+. to_date existait avant la version 2.2, mais le format de l'option n'existe pas

InformationsquelleAutor santon

from datetime import datetime
from pyspark.sql.functions import col, udf
from pyspark.sql.types import DateType



# Creation of a dummy dataframe:
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), 
                            ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third'])

# Setting an user define function:
# This function converts the string cell into a date:
func =  udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType())

df = df1.withColumn('test', func(col('first')))

df.show()

df.printSchema()

Voici le résultat:

+----------+----------+----------+----------+
|     first|    second|     third|      test|
+----------+----------+----------+----------+
|11/25/1991|11/24/1991|11/30/1991|1991-01-25|
|11/25/1391|11/24/1992|11/30/1992|1391-01-17|
+----------+----------+----------+----------+

root
 |-- first: string (nullable = true)
 |-- second: string (nullable = true)
 |-- third: string (nullable = true)
 |-- test: date (nullable = true)

Un udf ne devrait pas être nécessaire ici, mais le construit ins pour la manipulation de ce sont atroces. C'est ce que je ferais pour l'instant trop.
Pourquoi ne pas les dates de match dans la colonne d'essai à la première colonne? Oui, il est maintenant de type date, mais les jours et les mois ne correspondent pas. Est-il une raison?
test donne des valeurs incorrectes pour la date. Ce n'est pas la bonne réponse.
À l'aide d'un udf pour cela détruira vos performances.

InformationsquelleAutor Hugo Reyes

La strptime() approche ne fonctionne pas pour moi. Je reçois une autre solution plus propre, à l'aide de cast:

from pyspark.sql.types import DateType
spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType()))
#below is the result
spark_df1.select('order_submitted_date','record_date').show(10,False)

+---------------------+-----------+
|order_submitted_date |record_date|
+---------------------+-----------+
|2015-08-19 12:54:16.0|2015-08-19 |
|2016-04-14 13:55:50.0|2016-04-14 |
|2013-10-11 18:23:36.0|2013-10-11 |
|2015-08-19 20:18:55.0|2015-08-19 |
|2015-08-20 12:07:40.0|2015-08-20 |
|2013-10-11 21:24:12.0|2013-10-11 |
|2013-10-11 23:29:28.0|2013-10-11 |
|2015-08-20 16:59:35.0|2015-08-20 |
|2015-08-20 17:32:03.0|2015-08-20 |
|2016-04-13 16:56:21.0|2016-04-13 |

Merci, cette approche a fonctionné pour moi! Dans le cas où quelqu'un veut convertir une chaîne de caractères comme 2008-08-01T14:45:37Z à un horodatage au lieu de la date, df = df.withColumn("CreationDate",df['CreationDate'].cast(TimestampType())) fonctionne bien... (Étincelle 2.2.0)
Vous êtes les bienvenus, et merci pour le vote pour mon post!
J'ai essayé cette option parmi tant d'AWS Colle pyspark, fonctionne comme un charme!

InformationsquelleAutor Frank

3

Dans la accepté de répondre à la mise à jour vous ne voyez pas l'exemple de la to_date fonction, donc, une autre solution en utilisant ce serait:
```
from pyspark.sql import functions as F

df = df.withColumn(
            'new_date',
                F.to_date(
                    F.unix_timestamp('STRINGCOLUMN', 'MM-dd-yyyy').cast('timestamp'))
```
- faisant un simple to_date() ne fonctionne pas, c'est la bonne réponse
InformationsquelleAutor Manrique

-1

Essayez ceci:

df = spark.createDataFrame([('2018-07-27 10:30:00',)], ['Date_col'])
df.select(from_unixtime(unix_timestamp(df.Date_col, 'yyyy-MM-dd HH:mm:ss')).alias('dt_col'))
df.show()
+-------------------+  
|           Date_col|  
+-------------------+  
|2018-07-27 10:30:00|  
+-------------------+

Vous pourriez envisager d'élaborer sur la façon dont votre réponse s'améliore sur ce qui a déjà été acceptés.

InformationsquelleAutor Vishwajeet Pol

Vous devez vous connecter pour publier un commentaire.