Pour lire les données dans HDFS utilisation de Scala
Je suis nouveau à la Scala. Comment puis-je lire un fichier à partir d'HDFS utilisation de Scala (n'utilisant pas d'Étincelle)?
Quand je l'ai googlé, je n'ai découvert l'écriture de l'option de HDFS.
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.PrintWriter;
/**
* @author ${user.name}
*/
object App {
//def foo(x : Array[String]) = x.foldLeft("")((a,b) => a + b)
def main(args : Array[String]) {
println( "Trying to write to HDFS..." )
val conf = new Configuration()
//conf.set("fs.defaultFS", "hdfs://quickstart.cloudera:8020")
conf.set("fs.defaultFS", "hdfs://192.168.30.147:8020")
val fs= FileSystem.get(conf)
val output = fs.create(new Path("/tmp/mySample.txt"))
val writer = new PrintWriter(output)
try {
writer.write("this is a test")
writer.write("\n")
}
finally {
writer.close()
println("Closed!")
}
println("Done!")
}
}
S'il vous plaît aider moi.Comment pouvez lire le fichier ou le charger fichier HDFS utilisation de scala.
Qu'avez-vous essayer jusqu'à présent, par exemple avec hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/... ?
difficile de suivre les docs ici, à mon humble avis
Nous avons choisi, pour les petits fichiers à copier à partir de HDFS locaux du système de fichiers et les processus de manière SÉQUENTIELLE.
difficile de suivre les docs ici, à mon humble avis
Nous avons choisi, pour les petits fichiers à copier à partir de HDFS locaux du système de fichiers et les processus de manière SÉQUENTIELLE.
OriginalL'auteur Kiran | 2017-01-11
Vous devez vous connecter pour publier un commentaire.
L'une des façons (un peu dans le style fonctionnel) pourrait être comme ceci:
Aussi, vous pouvez prendre un coup d'oeil cet article ou ici et ici, ces questions look liés à la vôtre et contiennent de travail (mais plus Java-like) exemples de code, si vous êtes intéressés.
OriginalL'auteur solar