Comment convertir timestamp unix à ce jour dans Spark

J'ai un bloc de données d'une colonne timestamp unix(par exemple.1435655706000), et je veux convertir des données au format 'aaaa-MM-JJ', j'ai essayé nscala-temps, mais il ne fonctionne pas.

val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)

et je suis d'erreur:
java.lang.IllegalArgumentException: format non Valide: "1435655706000" est mal formé à "6000"

source d'informationauteur youngchampion

  1. 18

    Depuis spark1.5 , il y a un builtin UDF de le faire.

    val df = sqlContext.sql("select from_unixtime(ts,'YYYY-MM-dd') as `ts` from mr")

    Veuillez vérifier Spark 1.5.2 Doc API pour plus d'info.

  2. 10
    import org.joda.time.{DateTimeZone}
import org.joda.time.format.DateTimeFormat

    Vous devez importer les bibliothèques suivantes.

    val stri = new DateTime(timeInMillisec).toDateTime.toString("yyyy/MM/dd")

    Ou en s'adaptant à votre cas : 

     val time_col = sqlContext.sql("select ts from mr")
                     .map(line => new DateTime(line(0).toInt).toDateTime.toString("yyyy/MM/dd"))

    Il pourrait y avoir une autre façon : 

      import com.github.nscala_time.time.Imports._

  val date = (new DateTime() + ((threshold.toDouble)/1000).toInt.seconds )
             .toString("yyyy/MM/dd")

    Espère que cela aide 🙂

  3. 8

    Ici, c'est l'utilisation de Scala DataFrame fonctions: from_unix_time et to_date

    //NOTE: divide by 1000 required if milliseconds
//e.g. 1446846655609 -> 2015-11-06 21:50:55 -> 2015-11-06 
mr.select(to_date(from_unixtime($"ts" / 1000)))
  4. 5

    J'ai résolu ce problème en utilisant la joda-time de la bibliothèque de la cartographie sur le DataFrame et la conversion de la DateTime dans une Chaîne de caractères :

    import org.joda.time._
val time_col = sqlContext.sql("select ts from mr")
                         .map(line => new DateTime(line(0)).toString("yyyy-MM-dd"))
  5. 4

    Vous n'avez pas besoin de convertir en String avant de l'appliquer toDataTime avec nscala_time

    import com.github.nscala_time.time.Imports._

    scala> 1435655706000L.toDateTime
res4: org.joda.time.DateTime = 2015-06-30T09:15:06.000Z

    `