Comment créer une Étincelle Dataset à partir d'un CA

Ici est une réponse qui traverse une étape supplémentaire - le DataFrame. Nous utilisons le SQLContext pour créer un DataFrame et puis créer un DataSet à l'aide de l'objet désiré type - dans ce cas, un LabeledPoint:

val sqlContext = new SQLContext(sc)
val pointsTrainDf =  sqlContext.createDataFrame(training)
val pointsTrainDs = pointsTrainDf.as[LabeledPoint]

Mise à jour Jamais entendu parler d'un SparkSession ? (je n'en avais jusqu'à maintenant..)

Donc, apparemment, la SparkSession est le Manière Préférée (TM) dans Spark 2.0.0 et aller de l'avant. Voici le code mis à jour pour la nouvelle (allumage) de l'ordre du monde:

Étincelle 2.0.0+ approches

Avis dans les deux ci-dessous approches (plus simple de crédit @zero323) que nous avons accompli une des économies importantes par rapport à la SQLContext approche: il n'est plus nécessaire de créer d'abord un DataFrame.

val sparkSession =  SparkSession.builder().getOrCreate()
val pointsTrainDf =  sparkSession.createDataset(training)
val model = new LogisticRegression()
   .train(pointsTrainDs.as[LabeledPoint])

Deuxième façon de Spark 2.0.0+ de Crédit à @zero323

val spark: org.apache.spark.sql.SparkSession = ???
import spark.implicits._

val trainDs = training.toDS()

Traditionnel Étincelle 1.X et antérieures approche

val sqlContext = new SQLContext(sc)  //Note this is *deprecated* in 2.0.0
import sqlContext.implicits._
val training = splits(0).cache()
val test = splits(1)
val trainDs = training**.toDS()**

Voir aussi: Comment stocker des objets personnalisés dans le Dataset? par l'honorable @zero323 .

OriginalL'auteur javadba