Comment faire pour importer pyspark dans anaconda

Je suis en train d'importer et d'utiliser pyspark avec l'anaconda.

Après l'installation de l'étincelle, et le réglage de la $SPARK_HOME variable, j'ai essayé:

$ pip install pyspark

Cela ne fonctionne pas (bien sûr) parce que j'ai découvert que j'ai besoin de tel python de rechercher pyspark sous $SPARK_HOME/python/. Le problème est que pour le faire, j'ai besoin de régler le $PYTHONPATH tandis que l'anaconda ne pas utiliser cette variable d'environnement.

J'ai essayé de copier le contenu de $SPARK_HOME/python/ à ANACONDA_HOME/lib/python2.7/site-packages/ mais il ne fonctionne pas.

Est qu'il ya une solution pour utiliser pyspark dans anaconda?

OriginalL'auteur farhawa | 2015-11-19

  1. 9

    Vous pouvez tout simplement mis PYSPARK_DRIVER_PYTHON et PYSPARK_PYTHON les variables d'environnement pour utiliser la racine de l'Anaconda Python ou un Anaconda de l'environnement. Par exemple:

    export ANACONDA_ROOT=~/anaconda2
export PYSPARK_DRIVER_PYTHON=$ANACONDA_ROOT/bin/ipython
export PYSPARK_PYTHON=$ANACONDA_ROOT/bin/python

    ou 

    export PYSPARK_DRIVER_PYTHON=$ANACONDA_ROOT/envs/foo/bin/ipython 
export PYSPARK_PYTHON=$ANACONDA_ROOT/envs/foo/bin/python

    Lorsque vous utilisez $SPARK_HOME/bin/pyspark /$SPARK_HOME/bin/spark-submit qu'il va choisir un environnement correct. Rappelez-vous juste que PySpark a la même version de Python sur toutes les machines.

    Sur une note de côté à l'aide de PYTHONPATH devrait fonctionner très bien, même si il n'est pas recommandé.

    Merci pour la réponse. Pourrais-je importer pyspark en mode autonome? Je veux dire import pyspark
    Vous pourriez probablement construit votre propre conda paquet...
    J'ai essayé mais ça ne fonctionne pas
    Ce n'est pas une description très précise... qu'est-Ce exactement ne fonctionne pas. Qu'est-ce exactement ne fonctionne pas. Et juste pour l'enregistrement à l'aide de PYTHONPATH devrait fonctionner parfaitement. Il n'est pas recommandé.

    OriginalL'auteur zero323

  2. 1

    Je ne crois pas que vous devez ni installer des pyspark en tant que module. Au lieu de cela, j'ai étendu mon $PYTHONPATH dans mon ~/.bash_profile comme suit:

    export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

    Après, j'ai été en mesure de import pyspark as ps. L'espoir qui fonctionne pour vous aussi.

    Ce qui existe dans $SPARK_HOME/python/build? Je ne peux pas trouver le build répertoire inclus dans mon étincelle de distribution (spark-2.1.0-bin-hadoop2.4).

    OriginalL'auteur PC3SQ

  3. 1

    Voici l'ensemble des variables d'environnement, j'ai eu à mettre dans mon .bashrc pour obtenir que cela fonctionne dans les deux scripts portables et de

    export ANACONDA_ROOT=~/anaconda2
export PYSPARK_DRIVER_PYTHON=$ANACONDA_ROOT/bin/ipython
export PYSPARK_PYTHON=$ANACONDA_ROOT/bin/python

export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7
export PYLIB=/opt/spark-2.1.0-bin-hadoop2.7/python/lib

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

    OriginalL'auteur Tom Whittaker

  4. 1

    Que cela peut avoir, ne devient possible que récemment, mais j'ai utilisé la commande suivante et cela a fonctionné parfaitement. Après cela, je suis en mesure d "importation pyspark ps' et l'utiliser sans problèmes.

    conda install -c conda-forge pyspark

    OriginalL'auteur mewa6

  5. 0

    Peut-être cela peut aider quelqu'un, Selon la Anaconda documentation, vous installez FindSpark comme suit: 

    conda install -c conda-forge findspark

    C'est seulement après l'installation comme présentés sur ce que j'ai pu importer FindSpark. Pas d'exportation des états requis.

    OriginalL'auteur Tshilidzi Mudau