L'agrégation par Groupe Par date dans Spark SQL

J'ai résolu le problème en ajoutant ces fonctions:

def convert( time:Long ) : String = {
  val sdf = new java.text.SimpleDateFormat("yyyy-MM-dd")
  return sdf.format(new java.util.Date(time))
}

Et en l'inscrivant dans le sqlContext comme ceci:

sqlContext.registerFunction("convert", convert _)

Puis j'ai enfin pu grouper par date:

select * from table convert(time)

OriginalL'auteur galex

Ne sais pas si c'est ce que tu voulais dire/de besoin, mais j'ai ressenti le même combat-ness traiter avec la date et l'horodatage dans spark-sql et la seule chose que je suis venu avec était coulée de la chaîne d'horodatage, puisqu'il semble impossible (pour moi) d'avoir la Date de type spark-sql.

De toute façon, c'est mon code pour accomplir quelque chose de similaire (Long à la place de String) pour votre besoin (peut-être):

  val mySQL = sqlContext.sql("select cast(yourLong as timestamp) as time_cast" +
"                                    ,count(1) total "+
"                               from logs" +
"                              group by cast(yourLong as timestamp)" 
)
val result= mySQL.map(x=>(x(0).toString,x(1).toString))

et le résultat est quelque chose comme ceci:

(2009-12-18 10:09:28.0,7)
(2009-12-18 05:55:14.0,1)
(2009-12-18 16:02:50.0,2)
(2009-12-18 09:32:32.0,2)

- Ce que cela pourrait être utile pour vous, même si je suis à l'aide d'horodatage et non pas la Date?

Espère qu'elle pourra aider

FF

EDIT:
afin de tester un "casting" de Long à l'Horodatage j'ai essayé ce simple changement:

      val mySQL = sqlContext.sql("select cast(1430838439 as timestamp) as time_cast" +
"                                    ,count(1) total "+
"                               from logs" +
"                              group by cast(1430838439 as timestamp)" 
)
val result= mySQL.map(x=>(x(0),x(1)))

et tout a bien fonctionné avec le résultat:

(1970-01-17 14:27:18.439,4)  // 4 because I have 4 rows in my table

OriginalL'auteur Fabio Fantoni