Quel est le meilleur module pour le traitement parallèle en Perl?

Ce qui est le meilleur module de processus parallèle en Perl? Je n'ai jamais fait de traitement parallèle en Perl.

Ce qui est bon module Perl pour les processus parallèle qui va utilisé dans le DB d'accès et de diffusion ?

J'ai regardé dans le module Parallèle::ForkManager. Toute idée apprécié.

source d'informationauteur joe

  1. 13

    Parallèle::ForkManagercomme POD dit, peut limiter le nombre de processus initiés par les. Vous pouvez ensuite utiliser les enfants à faire tout le travail. Je me souviens de l'utilisation du module pour un downloader.

  2. 12

    Bien, tout dépend du cas particulier. En fonction de ce que vous avez exactement besoin pour obtenir, vous pourriez être mieux avec une des suivantes:

    Pour certaines tâches il y a aussi des modules spécialisés - par exemple LWP::Parallèle::UserAgentce qui signifie fondamentalement - vous avez à nous donner beaucoup plus de détails à propos de ce que vous voulez atteindre pour obtenir la meilleure réponse possible.

  3. 7

    Nombreux-Moteur de base de Perl (MCE) a été posté sur le CPAN.

    http://code.google.com/p/many-core-engine-perl/

    https://metacpan.org/module/MCE

    MCE est livré avec de nombreux exemples montrant l'utilisation dans le monde réel des scénarios de cas sur la parallélisation de quelque chose d'aussi petit que le chat (essayez avec-n) à greping pour les modèles et le nombre de mots de l'agrégation.

    barrier_sync.pl
          A barrier sync demonstration.

cat.pl    Concatenation script, similar to the cat binary.
egrep.pl  Egrep script, similar to the egrep binary.
wc.pl     Word count script, similar to the wc binary.

findnull.pl
          A parallel driven script to report lines containing
          null fields. It is many times faster than the binary
          egrep command. Try against a large file containing
          very long lines.

flow_model.pl
          Demonstrates MCE::Flow, MCE::Queue, and MCE->gather.

foreach.pl, forseq.pl, forchunk.pl
          These take the same sqrt example from Parallel::Loops
          and measures the overhead of the engine. The number
          indicates the size of @input which can be submitted
          and results displayed in 1 second.

          Parallel::Loops:     600  Forking each @input is expensive
          MCE foreach....:  34,000  Sends result after each @input
          MCE forseq.....:  70,000  Loops through sequence of numbers
          MCE forchunk...: 480,000  Chunking reduces overhead

interval.pl
          Demonstration of the interval option appearing in MCE 1.5.

matmult/matmult_base.pl, matmult_mce.pl, strassen_mce.pl
          Various matrix multiplication demonstrations benchmarking
          PDL, PDL + MCE, as well as parallelizing Strassen
          divide-and-conquer algorithm. Also included are 2 plain
          Perl examples.

scaling_pings.pl
          Perform ping test and report back failing IPs to
          standard output.

seq_demo.pl
          A demonstration of the new sequence option appearing
          in MCE 1.3. Run with seq_demo.pl | sort

tbray/wf_mce1.pl, wf_mce2.pl, wf_mce3.pl
          An implementation of wide finder utilizing MCE.
          As fast as MMAP IO when file resides in OS FS cache.
          2x ~ 3x faster when reading directly from disk.
  4. 4

    Vous pouvez consulter également les threads, CoroParallèle::Iterator.