Spark Fonctions de la Fenêtre - rangeBetween dates

Je vais avoir une Étincelle SQL DataFrame avec les données et ce que je suis en train d'essayer d'obtenir toutes les lignes qui précèdent ligne en cours sur une période donnée. Ainsi, par exemple, je veux avoir toutes les lignes à partir de 7 jours précédant la ligne de donnée. J'ai compris j'ai besoin d'utiliser un Window Function comme:

Window \
    .partitionBy('id') \
    .orderBy('start')

et c'est là le problème. Je veux avoir un rangeBetween de 7 jours, mais il n'y a rien dans l'Étincelle docs que j'ai pu trouver sur ce. Ne Étincelle même de fournir une telle option? Pour l'instant, je suis juste de toutes les lignes précédentes avec:

.rowsBetween(-sys.maxsize, 0)

mais voudrais obtenir quelque chose comme:

.rangeBetween("7 days", 0)

Si quelqu'un pouvait m'aider sur ce que je serai très reconnaissant. Merci à l'avance!

InformationsquelleAutor Nhor | 2015-10-19