AttributeError: 'SparkContext' objet n'a pas d'attribut "createDataFrame" à l'aide d'Étincelle 1.6

Questions précédentes posent à propos de cette erreur d'avoir des réponses de dire tout ce que vous devez faire est de mettre à jour votre version de Spark. Je viens de supprimer mon ancienne version de Spark et installé Étincelle 1.6.3 construit pour Hadoop 2.6.0.

J'ai essayé ceci:

s_df = sc.createDataFrame(pandas_df)

Et eu cette erreur:

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-8-4e8b3fc80a02> in <module>()
      1 #creating a spark dataframe from the pandas dataframe
----> 2 s_df = sc.createDataFrame(pandas_df)

AttributeError: 'SparkContext' object has no attribute 'createDataFrame'

Personne ne sait pourquoi? J'ai essayé de supprimer et de réinstaller la même version 1.6 mais il ne fonctionne pas pour moi.

Voici mes variables d'environnement que j'ai été déconner avec pour obtenir mon pyspark de fonctionner correctement:

PATH="/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin"
export PATH

# Setting PATH for Python 2.7
# The orginal version is saved in .bash_profile.pysave
PATH="/Library/Frameworks/Python.framework/Versions/2.7/bin:${PATH}"
export PATH

# added by Anaconda installer
export PATH="/Users/pr/anaconda:$PATH"

# path to JAVA_HOME
export JAVA_HOME=$(/usr/libexec/java_home)

#Spark
export SPARK_HOME="/Users/pr/spark" #version 1.6
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_SUBMIT_ARGS="--master local[2]"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Je n'ai peut-être besoin d'installer Hadoop séparément? J'ai sauté cette étape parce que je n'en avais pas besoin pour le code j'ai été en cours d'exécution.

OriginalL'auteur pr338 | 2016-11-17