L'écriture dans un fichier de Apache Spark
Je suis en train d'écrire un code Scala qui m'oblige à écrire dans un fichier dans HDFS.
Lorsque j'utilise Filewriter.write
sur le plan local, cela fonctionne. La même chose ne fonctionne pas sur HDFS.
Lors de la vérification, j'ai constaté qu'il y a les options suivantes pour écrire dans Apache Spark-
RDD.saveAsTextFile
et DataFrame.write.format
.
Ma question est: est ce que si je veux juste écrire un int ou chaîne dans un fichier de Apache Spark?
Suivi:
J'ai besoin d'écrire dans un fichier de sortie d'un en-tête, DataFrame contenu et ensuite ajouter une chaîne de caractères.
Ne sc.parallelize(Seq(<String>))
aider?
OriginalL'auteur kruparulz14 | 2016-08-26
Vous devez vous connecter pour publier un commentaire.
créer
RDD
avec vos données (int/chaîne de caractères) à l'aide deSeq
: voir parallélisée-collections pour plus de détails:Une fois que vous acceptez une réponse, il est mieux de poster une nouvelle question.
OriginalL'auteur Ronak Patel
Suivi Exemple: (Testé en tant que ci-dessous)
de sortie:
d'autres exemples ici. . .
OriginalL'auteur Ronak Patel