Comment convertir le Timestamp de la Date format de DataFrame?

J'ai un DataFrame avec Timestamp colonne, j'ai besoin de convertir comme Date format.

Est-il une Étincelle de fonctions SQL pour ça?

InformationsquelleAutor Shankar | 2016-11-17
  1. 43

    Vous pouvez cast la colonne de date:

    Scala:

    import org.apache.spark.sql.types.DateType

val newDF = df.withColumn("dateColumn", df("timestampColumn").cast(DateType))

    Pyspark:

    df = df.withColumn('dateColumn', df['timestampColumn'].cast('date'))
    • Ce n'est pas Spark SQL.
    • Cette solution utilise des fonctions disponibles dans le cadre de la Spark SQL package, mais il n'utilise pas le langage SQL, au lieu de cela il utilise le robuste DataFrame de l'API, avec SQL-comme pour les fonctions, au lieu d'utiliser de moins en moins fiable cordes avec la réalité des requêtes SQL.
    • Ce qui l'est moins fiable sur les requêtes SQL?
    • eh bien, tout dépend de l'application. En général, si votre objectif est de produire un support fiable et vérifiable stable de la base de code, les chaînes de requête ne sont pas très recommandé, car ils sont difficiles à changer, il est plus facile de faire des erreurs, et il est moins modularizable.
    • Besoin d'aide. la lecture des Données de la base de données via jdbc. Table Oracle a 15-DEC-2016 comme un champ de type de données de DATE. Dataframe.printSchema() affiche l'Horodatage. mais lorsque j'imprime, elle montre toutes les valeurs null.
    • Une solution possible consiste à jeter la date de chaîne lors de la lecture de la source de base de données, puis de les convertir à TimestampType Spark avec unix_timestamp ou un équivalent de la stratégie.

    InformationsquelleAutor Daniel de Paula
  2. 13

    Dans SparkSQL:

    SELECT
  CAST(the_ts AS DATE) AS the_date
FROM the_table
    InformationsquelleAutor dslack
  3. 4

    Imaginer la suite de l'entrée:

    val dataIn = spark.createDataFrame(Seq(
        (1, "some data"),
        (2, "more data")))
    .toDF("id", "stuff")
    .withColumn("ts", current_timestamp())

dataIn.printSchema
root
 |-- id: integer (nullable = false)
 |-- stuff: string (nullable = true)
 |-- ts: timestamp (nullable = false)

    Vous pouvez utiliser le to_date fonction:

    val dataOut = dataIn.withColumn("date", to_date($"ts"))

dataOut.printSchema
root
 |-- id: integer (nullable = false)
 |-- stuff: string (nullable = true)
 |-- ts: timestamp (nullable = false)
 |-- date: date (nullable = false)

dataOut.show(false)
+---+---------+-----------------------+----------+
|id |stuff    |ts                     |date      |
+---+---------+-----------------------+----------+
|1  |some data|2017-11-21 16:37:15.828|2017-11-21|
|2  |more data|2017-11-21 16:37:15.828|2017-11-21|
+---+---------+-----------------------+----------+

    Je recommanderais préférant ces méthodes au cours de la coulée et de la plaine SQL.

    InformationsquelleAutor Gevorg