En parallèle de la carte en haskell

Est-il un substitut de map qui évalue la liste en parallèle? Je n'ai pas besoin d'être paresseux.

Quelque chose comme: pmap :: (a -> b) -> [a] -> [b] me laisser pmap expensive_function big_list et toutes mes cores à 100%.

InformationsquelleAutor Clark Gaebel | 2011-04-09
  1. 37

    Oui, voir la en parallèle paquet:

    ls `using` parList rdeepseq

    permettra d'évaluer chaque élément de la liste en parallèle via le rdeepseq stratégie. Notez l'utilisation de parListChunk avec une bonne partie de la valeur pourrait donner de meilleures performances si vos éléments sont trop bon marché pour obtenir un avantage de l'évaluation de chacun en parallèle (car il permet d'économiser sur les étincelles pour chaque élément).

    EDIT: d'après votre question, je pense que je devrais expliquer pourquoi c'est une réponse. C'est parce que Haskell est paresseux! Considérons la déclaration

    let bs = map expensiveFunction as

    Rien n'a été évaluée. Vous avez juste créé un thunk que les cartes de expensiveFunction. Alors, comment faisons-nous l'évaluer en parallèle?

    let bs = map expensiveFunction as
    cs = bs `using` parList rdeepseq

    Maintenant, ne pas utiliser le bs liste dans votre avenir calculs, au lieu d'utiliser l' cs liste. OIE, vous n'avez pas besoin, en parallèle, une carte, vous pouvez utiliser la régulière (paresseux) cartes et une parallèle à évaluer la stratégie.

    EDIT: Et si vous regardez autour, assez, vous verrez le parMap fonction qui fait ce que j'ai montré ici, mais enveloppé dans une fonction d'assistance.

    En réponse à votre commentaire, le code ci-dessous fonctionne pas pour vous? il fonctionne pour moi.

    import Control.Parallel.Strategies

func as =
        let bs = map (+1) as
            cs = bs `using` parList rdeepseq
        in cs
    • J'ai essayé de faire pmap f x = (map f x) `using` parList rdeepseq, mais GHC est de se plaindre que rdeepseq a besoin d'un argument.
    • voir le code que j'ai collé - ce qui devrait se charger dans GHCi amende. Faut-il travailler pour vous? L'expression parMap rdeepseq f as devrait faire la même chose.
    • Ne fonctionne pas pour moi. "Aucune instance pour (Contrôler.DeepSeq.NFData b) découlant de l'utilisation de "rdeepseq'"
    • vous devez l'utiliser dans un contexte particulier ou à un type explicite signature. Assurez-vous les éléments de votre liste ont un NFData exemple - qui est nécessaire pour l'utilisation de rdeepseq. Si c'est trop difficile alors utiliser rseq au lieu de cela, ce qui evalutes à whnf.
    • Ok. Je l'ai fait avec parMap, mais je suis seulement en utilisant une base ici =/
    • Avez-vous compilez avec filetée (ghc -O2 -threaded blah.hs --make) et utilisez le bouton droit de la RTS options (./blah +RTS -Nx) où x est le nombre de coeurs que vous souhaitez utiliser, comme 2? Note sur GHC 7, vous devez simplement être en mesure de type ghc -O2 -threaded -with-rtsopts=-N blah.hs et exécuter ./blah.
    • Oui je l'ai fait. Importe-t-il que je suis sur Windows?
    • Non, Windows devrait fonctionner correctement. Pourriez-vous modifier votre question avec le code exact de la compilation, la ligne de compilation (également à l'aide de -fforce-recomp, juste pour être sûr) et comment vous avez exécuté? Aussi, retrouvez-moi sur #haskell en IRC si vous voulez faire ce travail en temps réel.

    InformationsquelleAutor Thomas M. DuBuisson
  2. 17

    En plus, en utilisant des stratégies explicites de vous-même comme Tom l'a décrit, le en parallèle paquet aussi les exportations parMap:

     parMap :: Strategy b -> (a -> b) -> [a] -> [b]

    où la stratégie argument est quelque chose comme rdeepseq.

    Et il y a aussi parMap dans le par-monade paquet (vous sortez de la pure Haskell, et en parallèle une monade):

     parMap :: NFData b => (a -> b) -> [a] -> Par [b]

    Le par-monade paquet est documenté ici.

    • Il y a une petite mise en garde ici. parMap est à l'aide de mapM, qui est stricte. Cela signifie que la liste de la colonne vertébrale est entièrement évalués avant le calcul commence - si la liste est longue, par exemple, vous êtes parMap'ping plus de la lecture des disques à partir d'un (énorme) de fichiers, ce n'est probablement pas ce que vous voulez. Peut-être que ce serait mieux travailler avec un paresseux parMap, ou en distribuant des éléments round-robin.
    • les monades sont de la pure ... que IO n'est pas ...
    InformationsquelleAutor Don Stewart