Spark : Erreur qui n'a Pas trouvé la valeur de SC

Je viens de commencer avec Spark. J'ai CDH5 Installé avec Spark . Cependant lorsque j'essaie d'utiliser sparkcontext il donne une Erreur comme ci-dessous

<console>:17: error: not found: value sc
       val distdata = sc.parallelize(data)

J'ai fait des recherches à ce sujet et a trouvé erreur: pas trouvé: valeur sc

et essayé de démarrer l'étincelle contexte avec ./spark-shell . Il donne une erreur No such File or Directory

InformationsquelleAutor Jack Sa | 2015-11-16
  1. 3

    Vous pouvez démarrer spark-shell de départ avec ./ si vous êtes dans son répertoire ou path/to/spark-shell si vous êtes ailleurs.

    Aussi, si vous êtes en cours d'exécution d'un script avec spark-submit, vous devez l'initialiser sc comme SparkContext première:

    import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
    • Merci. J'ai répété toutes ces Étapes exactement . Néanmoins, il donne la même erreur.
    • Êtes-vous sûr que vous fournissez le droit chemin à spark-shell? Il n'est pas dans votre système /bin par défaut, vous devez l'exécuter comme /path/to/spark-shell
    • C'est ce que je faisais . val data = Array(1, 2, 3, 4, 5) val distData = sc.paralléliser(données). Aussi, Comment puis-je trouver le chemin d'accès au spark shell ?
    • avez-vous démarré votre spark-shell ou avez-vous simplement d'utiliser votre scala compilateur?
    • spark-shell peuvent être trouvés dans votre étincelle répertoire à bin/spark-shell
    • Oui, j'ai démarré avec succès une étincelle shell par l'Émission "l'étincelle-shell" comme vous l'avez suggéré précédemment .
    • Dois-je faire cette groupId = org.apache.hadoop artifactId = hadoop-client version = <votre-hdfs-version> comme par ÉTINCELLE DOC spark.apache.org/docs/latest/programming-guide.html ?
    • aucune de ces ne sont pas pertinents lignes en termes de simple exécution d'une application. avez-vous essayez d'initialiser votre propre SparkContext comme je l'ai suggéré?
    • Ces 2 lignes. val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf). Oui je l'ai fait .
    • stackoverflow.com/questions/25203815/... Ici, disent-ils corriger le chemin de classe de l'extérieur Repl ? Je ne sais pas si c'est les Problèmes et la façon de corriger le chemin de classe de l'extérieur Repl des idées ?

    InformationsquelleAutor Nhor
  2. 3

    Ajouter étincelle répertoire de chemin alors vous pouvez utiliser spark-shell à partir de n'importe où.

    Ajouter import org.apache.spark.SparkContext si vous l'utilisez dans une étincelle de la soumettre de travail pour créer une étincelle contexte à l'aide de:

    val sc = new SparkContext(conf)

    où conf est déjà défini.

    InformationsquelleAutor Ani Menon
  3. 0

    De départ d'un nouveau terminal, résout le problème dans mon cas.

    InformationsquelleAutor assasinC
  4. 0

    Vous avez besoin pour exécuter Hadoop démons première (exécuter cette commande "start-all.sh"). Ensuite, essayez

    InformationsquelleAutor Vijayanandhan Gnanamuthu