L'exécution de Spark Application à partir d'Eclipse.

Je suis en train de développer une application spark sur Eclipse, et ensuite le débogage en marchant à travers elle.

J'ai téléchargé l'Étincelle code source et j'ai ajouté un peu de l'étincelle des sous-projets(comme la spark-core) pour Eclipse. Maintenant, je suis en train de développer une étincelle de l'application à l'aide d'Eclipse. J'ai déjà installé le ScalaIDE sur Eclipse. J'ai créé une application simple basé sur l'exemple donné dans l'Étincelle site web.

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md" //Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}

À mon projet, j'ai ajouté le spark-core projet comme un projet dépendant(clic droit -> build path -> ajouter un projet). Maintenant, je suis en train de construire mon application et l'exécuter. Cependant, mon projet montre qu'il a des erreurs, mais je ne vois pas d'erreurs répertoriées dans la vue des problèmes au sein d'Eclipse, je ne vois toutes les lignes surlignées en rouge. Donc, je ne suis pas sûr que le problème est. Mon hypothèse est que j'ai besoin d'ajouter des pots pour mon projet, mais je ne suis pas sûr de ce que ces jarres serait. L'erreur est provoquée par val conf = new SparkConf().setAppName("Simple Application") et les lignes suivantes. J'ai essayé de la suppression de ces lignes, et l'erreur a disparu. Je vous serais reconnaissant de toute l'aide et les conseils, merci!

OriginalL'auteur AndroidDev93 | 2015-03-28