Ce sont diffusées variables? Quels sont les problèmes qu'ils en résolvent?

Je suis Étincelle guide de Programmation qui dit:

Diffusion de variables permettent au programmeur de garder en lecture seule variable mis en cache sur chaque machine plutôt que l'expédition d'une copie de celui-ci avec des tâches.

Vu ce qui précède, quels sont les cas d'utilisation de diffusion variables? Quels sont les problèmes de diffusion variables résoudre?

Lorsque nous créons une diffusion quelconque variable comme ci-dessous, la variable de référence, ici c'est broadcastVar disponible dans tous les nœuds du cluster?

val broadcastVar = sc.broadcast(Array(1, 2, 3))

Combien de temps ces variables disponibles dans la mémoire des nœuds?

InformationsquelleAutor Ramana | 2014-11-12
  1. 30

    Si vous avez énorme tableau qui est accessible à partir de l'Étincelle par exemple les Fermetures à quelques données de référence, ce tableau sera expédié à chaque étincelle nœud de fermeture. Par exemple, si vous avez 10 nœuds de cluster avec 100 partitions (10 partitions par nœud), ce Tableau sera distribué au moins 100 fois (10 fois pour chaque nœud).

    Si vous utilisez de diffusion, il sera distribué une fois par nœud de l'utilisation efficace du protocole p2p.

    val array: Array[Int] = ??? //some huge array
val broadcasted = sc.broadcast(array)

    Et certains RDD

    val rdd: RDD[Int] = ???

    Dans ce cas tableau sera livré avec fermeture à chaque fois

    rdd.map(i => array.contains(i))

    et à la diffusion, vous allez avoir un énorme avantage en termes de performances

    rdd.map(i => broadcasted.value.contains(i))
    • Pourquoi un nœud de chaque partition pour récupérer à nouveau la fermeture? Pourquoi ne pas réutiliser de la précédente ?
    • S'il vous plaît pourriez-vous fournir une source? Ne devraient-ils pas rendre caduque la Diffusion des variables si c'est le cas? Je ne pense pas que ce que vous dites est vrai.
    • La documentation couvre le cas de l'OMI (deuxième alinéa): spark.apache.org/docs/latest/... mais si vous avez besoin de la source que je peux re-creuser jusqu' (j'ai oublié)
    • Eh bien, si vous lisez la documentation il est assez clair qu'il n'est PAS automatique. Automatiquement, il diffuse des données dans une forme sérialisée, PAS désérialisé forme, pour désérialisé formulaire que vous avez besoin d'être explicite. Si vous avez un emploi avec 5000 tâches sur 5 nœuds, et vous diffuser un 100 GO HashMap pour une utilisation comme une recherche, à l'aide d'un BV vous permettra d'économiser de 1000x le coût de la désérialisation (et beaucoup de mémoire si vous avez désactivé la sérialisation de compression). ....
    • ..., le coût réel de la désérialisation lui-même est extrêmement gourmande en mémoire, j'ai vu plusieurs emplois au cours de l'automne avec OOMs (après une pendaison) et la lecture de la ST, on peut voir ce qui se passe pendant quelques désérialisation. Enfin descoping 100 go de mémoire 1000 fois en une seule JVM va provoquer un fou GC. Ergo "C'est à peu près ce que l'Étincelle n'maintenant de toute façon..." est incorrect et BVs doit toujours être utilisé explicitement.
    • Est-il juste de dire que diffusé valeur est similaire à cache distribué Hadoop? La seule différence est que le cache contient des fichiers et de diffusion variable est généralement une valeur calculée

    InformationsquelleAutor Eugene Zhulenev