pyspark : NameError: name 'étincelle' n'est pas défini

Je copie le pyspark.ml exemple dans le document officiel site web:
http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.Transformer

data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)]
df = spark.createDataFrame(data, ["features"])
kmeans = KMeans(k=2, seed=1)
model = kmeans.fit(df)

Cependant, l'exemple ci-dessus ne voudrais pas courir et m'a donné les erreurs suivantes:

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-28-aaffcd1239c9> in <module>()
      1 from pyspark import *
      2 data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)]
----> 3 df = spark.createDataFrame(data, ["features"])
      4 kmeans = KMeans(k=2, seed=1)
      5 model = kmeans.fit(df)

NameError: name 'spark' is not defined

Ce que supplémentaires de configuration/variable doit être définie pour obtenir l'exemple en cours d'exécution?

changement de sqlContext œuvres. merci!

OriginalL'auteur Edamame | 2016-09-16

  1. 10

    Depuis que vous appelez createDataFrame(), vous avez besoin pour ce faire:

    df = sqlContext.createDataFrame(data, ["features"])

    au lieu de cela:

    df = spark.createDataFrame(data, ["features"])

    spark est là que le sqlContext.

    En général, certaines personnes ont que, comme sc, donc si cela ne fonctionne pas, vous pouvez essayer:

    df = sc.createDataFrame(data, ["features"])
    Si j'utilise la sc, il ne fonctionne pas. Mais si j'utilise sqlContext, il fonctionne. Est-ce prévu?
    Oui @Edamame, tout dépend de comment vous importez des trucs.. 🙂

    OriginalL'auteur gsamaras

  2. 18

    Vous pouvez ajouter

    from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)

    pour le début de vos codes pour définir un SparkSession, puis le spark.createDataFrame() devrait fonctionner.

    OriginalL'auteur 率怀一

  3. 0

    Réponse par 率怀一 est bonne et va travailler pour la première fois.
    Mais la deuxième fois que vous l'essayez, il lève l'exception suivante :

    ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=pyspark-shell, master=local) created by __init__ at <ipython-input-3-786525f7559f>:10

    Il y a deux façons de l'éviter.

    1) à l'Aide de SparkContext.getOrCreate() au lieu de SparkContext():

    from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext.getOrCreate()
spark = SparkSession(sc)

    2) à l'Aide de sc.stop() à la fin, ou avant de commencer un autre SparkContext.

    OriginalL'auteur Prashant Shahi - coolboi567