étincelle dans un fil de cluser 'sc' non défini

Je suis en utilisant étincelle 1.3.1.

Dois-je déclarer sc lors de l'étincelle s'exécuter dans un fil de mode cluster? Je n'ai aucun problème exécutant le même programme en python spark python shell.

C'est de cette façon-je présenter la tâche :

/bin/spark-submit --master yarn-cluster test.py --conf conf/spark-defaults.conf

où spark-par défaut, je n'ai déclarer où la spark.yarn.jar est, également vérifier les autorisations sur où spark.yarn.jar est et /user/admin, l'étincelle de l'utilisateur, pour y faire est lire-écrire-exécution pour tous.

Dans mon test.py programme, j'ai from pyspark.sql import SQLContext et la première ligne est

sqlctx=SQLContext(sc)

et l'erreur est

NameError: name 'sc' is not defined

sur cette ligne.

Une idée?

les corrections de mon post : je l'ai essayé ceci : ./bin/spark-soumettre --master fil-cluster --conf étincelle.de fil.jar=hdfs://<aipaddres>:9000/share/spark-assembly-1.3.0-hadoop2.4.1.jar test.py ... également essayé ce ./bin/spark-soumettre --master fil-cluster --conf conf/spark-valeurs par défaut.conf test.py
À la différence des sites de forum, nous n'utilisons pas de "Merci", ou "Toute aide appréciée", ou des signatures sur Stack Overflow. Voir "Doit 'Bonjour', 'merci,' slogans, et les salutations être supprimé de postes?. BTW, c'est "Merci d'avance", pas "Merci d'avance".

OriginalL'auteur Tara | 2015-06-05

Leave a Reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *