Lancer PySpark et IDE comme Spyder?

J'ai pu courir PySpark à partir de la ligne de terminal et tout fonctionne bien.

~/spark-1.0.0-bin-hadoop1/bin$ ./pyspark

Bienvenue à

 ____ __ 
/__/__ ___ _____//__ 
_\ \/_ \/_ `/__/'_/
/__ /.__/\_,_/_//_/\_\ la version 1.0.0 
/_/

L'aide d'une version de Python 2.7.6 (par défaut, le 27 Mai 2014 14:50:58)

Cependant, lorsque j'essaie de faire ceci Python IDE

import pyspark

ImportError: No module named pyspark

Comment puis-je importer à l'instar d'autres bibliothèques Python tels numpy, scikit etc.?

De travail dans le terminal fonctionne très bien, j'ai juste voulu travailler dans l'IDE.

source d'informationauteur Vedant

  1. 2

    Grâce Ophir YokTon's haut de poste, j'ai Enfin réussi à le faire avec "l'Étincelle 1.4.1+ Spyder2.3.4.

    Ici, je voudrais donner un résumé de toutes mes démarches pour le faire, j'espère que ça peut aider certaines personnes dans des situations similaires.

    1. Ajouter la variable PYTHONPATH .bashrc. (bien sûr, vous pouvez mettre dans d'autres relavent fichier de profil)
    export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
    1. Rendre efficace par 
    source .bashrc
    1. Créer une copie de spyder comme spyder.py sur votre spyder bin
    cp spyder spyder.py
    1. Commencer Spyder IDE avec la commande suivante
    spark-submit spyder.py

    J'ai mis en place l'exemple de la "simple" application de apache spark et passé le test en cours il en spyder environnement. veuillez vous référer à l'image "http://i.stack.imgur.com/xTv6s.gif"

  2. 0

    pyspark n'est probablement pas à votre variable pythonpath. Allez à l'emplacement où pyspark se trouve le dossier et ajouter ce dossier à votre chemin de classe.

  3. 0

    1. Si vous voulez juste pour importer le module , ajoutant à python chemin est assez

    2. Si vous souhaitez exécuter des scripts complets à partir de l'IDE, vous pouvez créer un "outil" qui utilise des bougies de se soumettre à l'exécution de votre script à partir de l'IDE (au lieu de l'exécution normale)

    3. Spécifiquement pour spyder (ou un autre IDE qui sont écrits en python), vous pouvez exécuter l'IDE de l'intérieur de l'étincelle-soumettre

    exemple:

    spark-submit.cmd c:\Python27\Scripts\spyder.py
    • noter que j'ai dû renommer spyder à spyder.py - il semble étincelle présenter s'appuie sur l'extension de faire la distinction entre python, java ou scala
    • ajouter tous les paramètres requis pour la spark-soumettre