Écrire Étincelle dataframe CSV avec des partitions

Je suis en train d'écrire un dataframe dans une étincelle dans une HDFS emplacement, et j'espère que si je suis en ajoutant le partitionBy notation Étincelle va créer une partition
(semblable à l'écriture en Parquet format)
dossier en forme de

partition_column_name=partition_value

( j'.e partition_date=2016-05-03). Pour ce faire, j'ai exécuté la commande suivante :

(df.write
    .partitionBy('partition_date')
    .mode('overwrite')
    .format("com.databricks.spark.csv")
    .save('/tmp/af_organic'))

mais partition dossiers n'avaient pas été créés
toute idée de ce que dois-je faire pour que l'étincelle DF créer automatiquement les dossiers?

Merci,

OriginalL'auteur Lior Baber | 2016-05-29