ERREUR SparkContext: Erreur lors de l'initialisation SparkContext
Je suis en utilisant spark-1.5.0-cdh5.6.0. essayé de l'échantillon de l'application (scala)
la commande est:
> spark-submit --class com.cloudera.spark.simbox.sparksimbox.WordCount --master local /home/hadoop/work/testspark.jar
Ai l'erreur suivante:
ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: File file:/user/spark/applicationHistory does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:424)
at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:541)
at com.cloudera.spark.simbox.sparksimbox.WordCount$.main(WordCount.scala:12)
at com.cloudera.spark.simbox.sparksimbox.WordCount.main(WordCount.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Vous devez vous connecter pour publier un commentaire.
Spark dispose d'une fonctionnalité appelée "l'histoire de serveur" qui permet de parcourir les événements historiques après la
SparkContext
meurt. Cette propriété est définie via le paramètrespark.eventLog.enabled
àtrue
.Vous avez deux options, soit spécifier un répertoire valide pour stocker le journal des événements via la
spark.eventLog.dir
valeur de configuration, ou tout simplement misspark.eventLog.enabled
àfalse
si vous n'en avez pas besoin.Vous pouvez en lire plus sur que dans le Étincelle De Configuration page.
J'ai eu le même message d'erreur qui travaillent avec nltk spark, Pour corriger ce que je viens juste enlevé toutes les nltk liées à des propriétés de l'étincelle-conf.par défaut.