Comment éviter de générer de la crc des fichiers et de la RÉUSSITE des fichiers pendant l'enregistrement d'un DataFrame?

J'utilise le code suivant pour enregistrer une étincelle DataFrame de fichier JSON

unzipJSON.write.mode("append").json("/home/eranw/Workspace/JSON/output/unCompressedJson.json")

le résultat de sortie est:

part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
_SUCCESS
._SUCCESS.crc
  1. Comment puis-je générer un seul fichier JSON et non un fichier par ligne?
  2. Comment puis-je éviter l' *crc des fichiers?
  3. Comment puis-je éviter le SUCCÈS de fichier?

OriginalL'auteur Eran Witkon | 2015-12-20