Variable partagée en python multitraitement

Première question est de savoir quelle est la différence entre la Valeur et le Gestionnaire().De la valeur?

Deuxième, est-il possible de partager variable de type entier sans l'aide de la Valeur?
Ci-dessous mon code d'exemple. Ce que je veux est d'obtenir un dict avec une valeur de type entier, et non pas de la Valeur. Ce que j'ai fait est juste le changer tous après le processus. Est-il un moyen plus facile?

from multiprocessing import Process, Manager

def f(n):
    n.value += 1

if __name__ == '__main__':
    d = {}
    p = []

    for i in range(5):
        d[i] = Manager().Value('i',0)
        p.append(Process(target=f, args=(d[i],)))
        p[i].start()

    for q in p:
        q.join()

    for i in d:
        d[i] = d[i].value

    print d
InformationsquelleAutor user2435611 | 2013-06-29
  1. 29

    Lorsque vous utilisez Value vous obtenez un ctypes objet dans la mémoire partagée, qui par défaut est synchronisé à l'aide d' RLock. Lorsque vous utilisez Manager vous obtenez un SynManager objet qui contrôle un processus serveur qui permet à des valeurs de l'objet à être manipulés par d'autres processus. Vous pouvez créer plusieurs mandataires en utilisant le même gestionnaire; il n'est pas nécessaire de créer un nouveau manager dans la boucle:

    manager = Manager()
for i in range(5):
    new_value = manager.Value('i', 0)

    La Manager peut être partagée entre plusieurs ordinateurs, tandis que les Value est limitée à un seul ordinateur. Value sera plus rapide (exécuter le code ci-dessous pour voir), donc je pense que vous devriez l'utiliser, sauf si vous avez besoin de soutien arbitraire d'objets ou d'accès sur un réseau.

    import time
from multiprocessing import Process, Manager, Value

def foo(data, name=''):
    print type(data), data.value, name
    data.value += 1

if __name__ == "__main__":
    manager = Manager()
    x = manager.Value('i', 0)
    y = Value('i', 0)

    for i in range(5):
        Process(target=foo, args=(x, 'x')).start()
        Process(target=foo, args=(y, 'y')).start()

    print 'Before waiting: '
    print 'x = {0}'.format(x.value)
    print 'y = {0}'.format(y.value)

    time.sleep(5.0)
    print 'After waiting: '
    print 'x = {0}'.format(x.value)
    print 'y = {0}'.format(y.value)

    Pour résumer:

    1. Utilisation Manager de créer plusieurs objets partagés, y compris les dicts et
      les listes. Utilisation Manager partager des données entre ordinateurs sur un réseau.
    2. Utilisation Value ou Array quand il n'est pas nécessaire de partager l'information
      à travers un réseau et le type de ctypes sont suffisantes pour votre
      besoins.
    3. Value est plus rapide que Manager.

    Avertissement

    Par le moyen de partager des données à travers des processus/threads doit être évitée si possible. Le code ci-dessus va probablement fonctionner comme prévu, mais l'augmentation du temps nécessaire à l'exécution foo et les choses vont devenir bizarre. Comparer ci-dessus avec:

    def foo(data, name=''):
    print type(data), data.value, name
    for j in range(1000):
        data.value += 1

    Vous aurez besoin d'un Lock pour faire ce travail correctement.

    Je ne suis pas particulièrement bien informé au sujet de tout cela, alors peut-être que quelqu'un d'autre va venir et d'offrir plus de perspicacité. J'ai pensé que je voudrais apportent une réponse car la question n'était pas attirer l'attention. Espérons que cela vous aide un peu.

    • peut-on ajouter de la valeur à un Tableau? Je ne peux pas ajouter de la valeur à un Tableau.
    • href="http://docs.python.org/2/library/multiprocessing.html#multiprocessing.Array" >Array vous donnera un partagées ctypes tableau. Vous devez décider quel type de données que vous stockez à l'avance, et de fournir une type de code. Par exemple, a = Array('c', 10) crée un tableau de chaînes de caractères de longueur 10. De nouvelles entrées peuvent être ajoutées au tableau comme suit: a[0] = 'b'. Vous ne pouvez pas ajouter aucun la valeur d'un tableau, voir la liste des codes de type.
    • Donc, nous devrions décider de la taille de la matrice à l'avance et ne peut pas l'étendre? si oui, c'est mieux pour moi d'utiliser le manager.liste(). Merci pour l'aide 🙂
    • Oui, je pense que c'est vrai. Le multiprocessing.Array est la mémoire allouée à la création et à la différence de array.array ne peut pas être élargi. Utilisation manager.list si vous n'avez vraiment aucune idée de combien d'espace vous avez besoin, mais vous pouvez essayer avec de l'allocation d'un Array avec un peu d'espace supplémentaire si vous pouvez trouver une limite supérieure sur la taille. J'espère que ça aide.
    • je suis en retard à la fête, mais comment voulez-vous recommander le partage d'un simple int variable à travers des processus sur une machine? J'utilise le multitraitement IO lié travailleurs (jusqu'à ce que j'apprends asynchrone), et voudrais avoir un compteur qu'ils partagent donc je sais combien d'itérations qu'ils ont traversées. Cer sur la meilleure façon de mettre en œuvre?
    • avez-vous trouvé une solution pour cela?
    • Comment le partage de données en ajoutant à d'autres module et de l'accès à ce module dans tous les processus, quelque chose a expliqué dans this? Ce n'est pas du tout à l'utilisation des fonctions du module multiprocessing, mais la plaine de python. Est-ce ok, si je ne veux pas avoir accès synchronisé?
    • Pouvez-vous juste un commentaire si nous pouvons partager tout type de données comme les pandas dataframe à l'aide de cette approche?
    • Vous devez utiliser un Lock pour protéger Value, voir eli.thegreenplace.net/2012/01/04/...
    • il semble qu'il ne fonctionne pas fo py3

    InformationsquelleAutor ChrisP