Pourquoi étincelle me dire “ nom "sqlContext" n'est pas défini ”, comment puis-je utiliser sqlContext?

J'essaie d'exécuter l'exemple de la spark-ml, mais 

from pyspark import SparkContext
import pyspark.sql 

sc = SparkContext(appName="PythonStreamingQueueStream")    
training = sqlContext.createDataFrame([
(1.0, Vectors.dense([0.0, 1.1, 0.1])),
(0.0, Vectors.dense([2.0, 1.0, -1.0])),
(0.0, Vectors.dense([2.0, 1.3, 1.0])),
(1.0, Vectors.dense([0.0, 1.2, -0.5]))], ["label", "features"])

ne peut pas s'exécuter parce que le terminal me dit que 

NameError: name 'SQLContext' is not defined

pourquoi c'est arrivé? et comment puis-je le résoudre?

  • Parce qu'il n'est pas défini.
InformationsquelleAutor Liu Chong | 2016-11-14
  1. 11

    Si vous utilisez Apache Spark 1.x ligne (c'est à dire avant d'Apache Spark 2.0), pour accéder à la sqlContext, vous devez importer le sqlContext; c'est à dire 

    from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

    Si vous utilisez Apache Spark 2.0, vous pouvez simplement le Spark Session directement à la place. Par conséquent, votre code sera 

    training = spark.createDataFrame(...)

    Pour plus d'informations, veuillez vous référer à la Spark SQL Guide de Programmation.

    • Désolé, mais il ne traite pas de la question (pas défini la variable) non Pas que cette question fait sens.
    • Sens - j'ai oublié dans mes retouches à l'appel que le sqlContext manquait. Mise à jour de la réponse.
    • Il n'est pas encore assez, si elle n'est pas initialisée.
    • fait - merci pour les corrections!
    InformationsquelleAutor Denny Lee