Convertir la date du format String au format Date dans les données

Je suis en train de convertir une colonne qui est dans un format de Chaîne de format de Date à l'aide de to_date fonction, mais son retour des valeurs Null.

df.createOrReplaceTempView("incidents")
spark.sql("select Date from incidents").show()
     +----------+
     |      Date|
     +----------+
     |08/26/2016|
     |08/26/2016|
     |08/26/2016|
     |06/14/2016|

spark.sql("select to_date(Date) from incidents").show()

+---------------------------+
|to_date(CAST(Date AS DATE))|
 +---------------------------+
|                       null|
|                       null|
|                       null|
|                       null|

La colonne de la Date dans un format de Chaîne

 |-- Date: string (nullable = true)

source d'informationauteur Ishan Kumar

  1. 23

    Utilisation to_date avec Java SimpleDataFormat.

    TO_DATE(CAST(UNIX_TIMESTAMP(date, 'MM/dd/yyyy') AS TIMESTAMP))

    Exemple:

    spark.sql("""
  SELECT TO_DATE(CAST(UNIX_TIMESTAMP('08/26/2016', 'MM/dd/yyyy') AS TIMESTAMP)) AS newdate"""
).show()

+----------+
|        dt|
+----------+
|2016-08-26|
+----------+
  2. 18

    J'ai résolu le même problème sans le temp et de table/vue avec dataframe fonctions.

    Bien sûr, j'ai trouvé qu'un seul format fonctionne avec cette solution, et c'est yyyy-MM-DD.

    Par exemple:

    val df = sc.parallelize(Seq("2016-08-26")).toDF("Id")
val df2 = df.withColumn("Timestamp", (col("Id").cast("timestamp")))
val df3 = df2.withColumn("Date", (col("Id").cast("date")))

df3.printSchema

root
 |-- Id: string (nullable = true)
 |-- Timestamp: timestamp (nullable = true)
 |-- Date: date (nullable = true)

df3.show

+----------+--------------------+----------+
|        Id|           Timestamp|      Date|
+----------+--------------------+----------+
|2016-08-26|2016-08-26 00:00:...|2016-08-26|
+----------+--------------------+----------+

    L'heure de cours a 00:00:00.0 comme une valeur de temps.

  3. 6

    Depuis votre principal but était de convertir le type d'une colonne dans un DataFrame de la Chaîne d'Horodatage, je pense que cette approche serait mieux.

    import org.apache.spark.sql.functions.{to_date, to_timestamp}
val modifiedDF = DF.withColumn("Date", to_date($"Date", "MM/dd/yyyy"))

    Vous pouvez également utiliser to_timestamp (je pense que c'est disponible à partir de Spark 2.x) si vous avez besoin de précision, d'horodatage.

  4. 4

    vous pouvez également faire cette requête...!

    sqlContext.sql("""
select from_unixtime(unix_timestamp('08/26/2016', 'MM/dd/yyyy'), 'yyyy:MM:dd') as new_format
""").show()

    Convertir la date du format String au format Date dans les données

  5. 0

    dateID est de type int colonne contient la date en Int format

    étincelle.sql("SELECT from_unixtime(unix_timestamp(cast(dateid que varchar(10)), 'yyyymmdd'), 'yyyy-mm-dd') à partir de XYZ").show(50, false)

  6. 0

    Vous pouvez également passer le format de date

    df.withColumn("Date",to_date(unix_timestamp(df.col("your_date_column"), "your_date_format").cast("timestamp")))

    Par Exemple

    import org.apache.spark.sql.functions._
val df = sc.parallelize(Seq("06 Jul 2018")).toDF("dateCol")
df.withColumn("Date",to_date(unix_timestamp(df.col("dateCol"), "dd MMM yyyy").cast("timestamp")))