étincelle dans un fil de cluser 'sc' non défini

Je suis en utilisant étincelle 1.3.1.

Dois-je déclarer sc lors de l'étincelle s'exécuter dans un fil de mode cluster? Je n'ai aucun problème exécutant le même programme en python spark python shell.

C'est de cette façon-je présenter la tâche :

/bin/spark-submit --master yarn-cluster test.py --conf conf/spark-defaults.conf

où spark-par défaut, je n'ai déclarer où la spark.yarn.jar est, également vérifier les autorisations sur où spark.yarn.jar est et /user/admin, l'étincelle de l'utilisateur, pour y faire est lire-écrire-exécution pour tous.

Dans mon test.py programme, j'ai from pyspark.sql import SQLContext et la première ligne est 

sqlctx=SQLContext(sc)

et l'erreur est 

NameError: name 'sc' is not defined

sur cette ligne.

Une idée?

les corrections de mon post : je l'ai essayé ceci : ./bin/spark-soumettre --master fil-cluster --conf étincelle.de fil.jar=hdfs://<aipaddres>:9000/share/spark-assembly-1.3.0-hadoop2.4.1.jar test.py ... également essayé ce ./bin/spark-soumettre --master fil-cluster --conf conf/spark-valeurs par défaut.conf test.py
À la différence des sites de forum, nous n'utilisons pas de "Merci", ou "Toute aide appréciée", ou des signatures sur Stack Overflow. Voir "Doit 'Bonjour', 'merci,' slogans, et les salutations être supprimé de postes?. BTW, c'est "Merci d'avance", pas "Merci d'avance".

OriginalL'auteur Tara | 2015-06-05

  1. 17

    C'est ce qui a fonctionné pour moi:

    from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext

conf = SparkConf().setAppName("building a warehouse")
sc = SparkContext(conf=conf)
sqlCtx = SQLContext(sc)

    Espère que cette aide.

    OriginalL'auteur Tagar

  2. 11

    sc est un assistant de création de valeur dans le spark-shell, mais n'est pas automatiquement créé avec spark-submit. Vous devez instancier votre propre SparkContext et de l'utilisation que

    conf = SparkConf().setAppName(appName)
sc = SparkContext(conf=conf)
    merci. Alors mon passage de la "conf" paramètre dans la commande envoyer est inutile si je crée un autre "conf"?
    Non, le fichier conf est utilisé si rien n'est défini dans le code. Aussi, si cela vous a aidé, alors n'oubliez pas d'accepter et d'upvote 🙂

    OriginalL'auteur Justin Pihony