quelle est la différence exacte entre Étincelle Transformer en DStream et de la carte.?

J'essaie de comprendre transformer Spark DStream Spark Streaming.

Je savais que transformer en beaucoup superlatif par rapport à la carte, mais
Peut quelqu'un me donner quelques en temps réel exemple ou exemple clair qui permette de différencier les transformer et de les carte.?

docs.sigmoidanalytics.com/index.php/...

OriginalL'auteur Srini | 2015-08-23

  1. 15

    La transform fonction Spark streaming permet d'utiliser tout de Apache Spark de transformations sur le sous-jacent RDDs pour le stream. map est utilisé pour un élément de transformation, et peut être mis en œuvre à l'aide de transform. Essentiellement, map travaux sur les éléments de la DStream et transform vous permet de travailler avec les RDDs de la DStream. Vous pouvez trouver http://spark.apache.org/docs/latest/streaming-programming-guide.html#transformations-on-dstreams être utile.

    OriginalL'auteur Holden

  2. 3

    map est une transformation élémentaire et transform est un EDR transformation

    carte

    carte(func) : renvoie une nouvelle DStream en passant chaque élément de la source de
    DStream au travers d'une fonction func.

    Voici un exemple qui démontre à la fois la carte de l'opération et l'opération de transformation sur un DStream

    val conf = new SparkConf().setMaster("local[*]").setAppName("StreamingTransformExample")
val ssc = new StreamingContext(conf, Seconds(5))    

val rdd1 = ssc.sparkContext.parallelize(Array(1,2,3))
val rdd2 = ssc.sparkContext.parallelize(Array(4,5,6))
val rddQueue = new Queue[RDD[Int]]
rddQueue.enqueue(rdd1)
rddQueue.enqueue(rdd2)

val numsDStream = ssc.queueStream(rddQueue, true)
val plusOneDStream = numsDStream.map(x => x+1)
plusOneDStream.print()

    la map ajoute 1 à chaque élément dans tous les Rdd dans DStream, donne une puissance comme indiqué ci-dessous

    -------------------------------------------
Time: 1501135220000 ms
-------------------------------------------
2
3
4

-------------------------------------------
Time: 1501135225000 ms
-------------------------------------------
5
6
7

-------------------------------------------

    transformer

    de transformation(func) : renvoie une nouvelle DStream par l'application d'un RDD-à-RDD fonction
    pour tous les RDD de la source DStream. Cela peut être utilisé pour faire de l'arbitraire
    CA opérations sur le DStream.

    val commonRdd = ssc.sparkContext.parallelize(Array(0))
val combinedDStream = numsDStream.transform(rdd=>(rdd.union(commonRdd)))
combinedDStream.print()

    transformer permet d'effectuer des RDD fonctionnement, telles que la jointure, union etc sur les Rdd dans DStream, le code de l'exemple donné ici, va produire une sortie en tant que ci-dessous

    -------------------------------------------
Time: 1501135490000 ms
-------------------------------------------
1
2
3
0

-------------------------------------------
Time: 1501135495000 ms
-------------------------------------------
4
5
6
0

-------------------------------------------
Time: 1501135500000 ms
-------------------------------------------
0

-------------------------------------------
Time: 1501135505000 ms
-------------------------------------------
0
-------------------------------------------

    ici la commonRdd qui contient l'élément 0 est effectuée une opération union avec tous les sous-jacents Rdd dans le DStream.

    OriginalL'auteur remis haroon

  3. 1

    DStream a Plusieurs CA, car à chaque intervalle de lot est un autre RDD.

    Ainsi, en utilisant le transformer(), vous avez la chance d'appliquer un EDR opération sur le
    toute la DStream.

    Exemple de Spark Docs:
    http://spark.apache.org/docs/latest/streaming-programming-guide.html#transform-operation

    OriginalL'auteur uris

  4. 1

    La fonction de transformation Spark Streaming vous permet d'effectuer tout type de transformation sur les sous-jacents de RDD en Flux. Par exemple, vous pouvez rejoindre des deux RDD en streaming à l'aide de Transformation dans lequel on CA serait certains RDD fabriqués à partir de fichier texte ou parallélisée de collecte et d'autres RDD est à venir à partir de Flux de texte/socket etc.

    Carte fonctionne sur chaque élément de RDD dans un lot particulier et les résultats dans la RDD après l'application de la fonction transmise à la Carte.

    OriginalL'auteur rahul gulati