comment pyspark diffusion des variables

Je sais qu'il utilise cornichon et d'expédier les choses à travers les nœuds et les garder en mémoire et ainsi de suite. ce que je ne comprends pas est pourquoi la syntaxe à utiliser dans pyspark travail.

def main():
    sc = SparkContext()
    someValue = rand()
    V = sc.broadcast(someValue)
    A = sc.parallelize().map(worker)

def worker(element):
    element *= V.value

pourquoi le code ci-dessus n'est pas obtenir un "V" non défini plainte? J'ai cherché sur le relatives à la radiodiffusion code source dans pyspark mais n'a pas obtenu la moindre idée.

InformationsquelleAutor dennis.s | 2014-11-26
  1. 3

    Je crois que votre problème est tout simplement un Python problème de portée. Si vous essayez de la non-Spark le code Python, il va même erreur avec "en" V "n'est pas défini":

    def runner(func):
    func()

def main():
    V = 22
    A = runner(worker)

def worker():
    print V

if __name__ == '__main__':
    main()

    Une des solutions est que vous pouvez déplacer worker() être à l'intérieur de main() (ou sinon, faire V une variable globale):

    def main():
    sc = SparkContext()
    someValue = rand()
    V = sc.broadcast(someValue)
    def worker(element):
        element *= V.value
    A = sc.parallelize().map(worker)
    InformationsquelleAutor Dolan Antenucci
  2. 1

    À partir de documents de recherche de l'Étincelle
    Spark: de Clusters de Calcul avec les Ensembles de Travail
    Matei Zaharia, Mosharaf Chowdhury, Michael J. Franklin, Scott Shenker, Ion Stoica. HotCloud 2010. En juin 2010.

    Variables partagées: Les deux types de variables partagées dans
    Spark, la diffusion des variables et accumulateurs sont mis en œuvre
    l'utilisation de classes personnalisées formats de sérialisation.
    Quand on crée une émission variable b avec une valeur v,
    v est enregistré dans un fichier dans un système de fichiers partagé. Le sérialisé
    forme de b est un chemin d'accès à ce fichier. Lorsque b est la valeur est interrogé
    sur un travailleur nœud, une Étincelle vérifie d'abord si v est dans un
    cache local, et le lit à partir du système de fichiers si il ne l'est pas.
    Nous avons d'abord utilisé HDFS pour diffuser des variables, mais nous sommes
    développer un système plus efficace de la diffusion en streaming du système.

    • Merci @Shawn, mais ce desn pas répondu à ma question sur la "syntaxe".
    InformationsquelleAutor Shawn Guo