SPARK / SQL: spark ne peut pas résoudre le symbole toDF

Dans mon projet, ma bibliothèque externe est spark-assembly-1.3.1-hadoop2.6.0si j'appuie sur '.', l'IDE m'informer toDF()mais il m'informer que ne peut pas résoudre le symbole toDF() quand je code. Je suis désolé, je ne peux pas trouver la toDF() dans Apache Spark doc.

case class Feature(name:String, value:Double, time:String, period:String)
val RESRDD = RDD.map(tuple => {
    var bson=new BasicBSONObject();
    bson.put("name",name);
    bson.put("value",value);
    (null,bson);
})

RESRDD
 .map(_._2)
 .map(f => Feature(f.get("name").toString, f.get("value").toString.toDouble))
 .toDF()

source d'informationauteur yeyimilk

  1. 26

    Pour être en mesure d'utiliser toDF vous devez importer sqlContext.implicits première:

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

case class Foobar(foo: String, bar: Integer)

val foobarRdd = sc.parallelize(("foo", 1) :: ("bar", 2) :: ("baz", -1) :: Nil).
    map { case (foo, bar) => Foobar(foo, bar) } 

val foobarDf = foobarRdd.toDF
foobarDf.limit(1).show
  2. 1

    C'est un très tardive de la réponse à la question, mais juste pour le plaisir de les gens qui sont toujours à la recherche de la réponse:

    Essayer la même commande sur Spark 1.6, il va fonctionner.

    J'ai été confrontée au même problème et cherché dans google et n'ai pas reçu de solution et puis j'ai mis à jour Étincelle de 1,5 à 1,6 et cela a fonctionné.

    Si vous ne connaissez pas votre Spark version:

    spark-submit --version (from command prompt)
sc.version (from Scala Shell)