Comment laisser de la Piscine.carte prendre une fonction lambda

J'ai la fonction suivante:

def copy_file(source_file, target_dir):
    pass

Maintenant je voudrais utiliser multiprocessing à l'exécution de cette fonction à la fois:

p = Pool(12)
p.map(lambda x: copy_file(x,target_dir), file_list)

Le problème est, lambda ne peut pas être mariné, de sorte que cela échoue. Ce qui est le plus soigné (pythonic) moyen de résoudre ce problème?

InformationsquelleAutor Peter Smit | 2011-01-28
  1. 63

    Utiliser un objet de fonction:

    class Copier(object):
    def __init__(self, tgtdir):
        self.target_dir = tgtdir
    def __call__(self, src):
        copy_file(src, self.target_dir)

    Pour exécuter votre Pool.map:

    p.map(Copier(target_dir), file_list)
    • Merci, c'est en effet ce dont j'avais besoin!
    • Merci! Je souhaite vraiment qu'ils peuvent prendre en fonction lambda!
    • Que faire si copy_file ont été self.copy_file dans une méthode?
    InformationsquelleAutor Fred Foo
  2. 39

    Pour Python2.7+ ou Python3, vous pouvez utiliser functools.partielle:

    import functools
copier = functools.partial(copy_file, target_dir=target_dir)
p.map(copier, file_list)
    • Ce même semble plus propre... je vais décider plus tard que l'on à faire de ma réponse
    • Smit: Oups -- vous avez vu mon post avant que je l'ai supprimé... je suis restauration de ce juste d'annoncer qu'il ne fonctionne pas à cause d'un bug dans Python2.
    • Ah, ok. J'étais à la recherche dans les docs et n'ai pas vu un commentaire à propos de la pickability, donc j'ai supposé qu'ils étaient... je vais accepter l'autre réponse, puis, comme cela semble être le chemin à parcourir.
    • Encore un +1 pour cette réponse car elle est plus courte (en Python 3, c'est 😉
    • En débarquant ici, beaucoup plus tard, comme une mise à jour functools.partial est également picklable en python 2.7.
    • cette solution est mieux
    • Cette solution a le problème que les deuxième et de la hausse des arguments peuvent être "au curry". La fonction de l'objet de la solution est beaucoup plus souple.
    • Pour fixer une recherche parallèle pour les non-isomorphe a ' des graphes. Il fonctionne 15x plus rapide que le Fred Foo solution

    InformationsquelleAutor unutbu
  3. 3

    Question est un peu vieux mais si vous êtes toujours utiliser Python 2 ma réponse peut être utile.

    Astuce consiste à utiliser une partie de pathétique projet: multi process fourche de multitraitement. Il se débarrasser de l'ennuyeux limitation de l'original multi process.

    Installation: pip install multiprocess

    Utilisation:

    >>> from multiprocess import Pool
>>> p = Pool(4)
>>> print p.map(lambda x: (lambda y:y**2)(x) + x, xrange(10))
[0, 2, 6, 12, 20, 30, 42, 56, 72, 90]
    InformationsquelleAutor petRUShka
  4. 0

    De cette réponse, le pathos vous permet d'exécuter vos lambda p.map(lambda x: copy_file(x,target_dir), file_list) directement, l'enregistrement de toutes les solutions de contournement /hacks

    InformationsquelleAutor Rufus