La conversion d'un Scala Itératif[tuple] pour CA

J'ai une liste de tuples, (String, String, Int, Double) que je veux convertir à susciter des RDD.

En général, comment puis-je convertir un Scala Itératif[(a1, a2, a3, ..., an)] dans une Étincelle RDD?

OriginalL'auteur menorah84 | 2015-10-22

apache-spark rdd scala

8

Il ya quelques façons de le faire, mais la plupart du détroit de manière est tout simplement d'utiliser Étincelle Contexte:
```
import org.apache.spark._
import org.apache.spark.rdd._
import org.apache.spark.SparkContext._

sc.parallelize(YourIterable.toList)
```
Je pense que sc.Paralléliser besoin d'une conversion à la Liste, mais il permettra de préserver votre structure, ainsi vous aurez toujours une CA[String,String,Int,Double]

sc.paralléliser(MyIterable.toSeq) a également travaillé

OriginalL'auteur GameOfThrows

Vous devez vous connecter pour publier un commentaire.