La sortie du journal de multitraitement.Processus

Est-il un moyen de connecter la sortie standard (stdout) de sortie d'un Processus donné lors de l'utilisation du multiprocessing.Processus de la classe en python?

InformationsquelleAutor astrofrog | 2009-10-01

La façon la plus simple pourrait être de simplement remplacer sys.stdout. Modifiant légèrement un exemple de le multitraitement manuel:

from multiprocessing import Process
import os
import sys

def info(title):
    print title
    print 'module name:', __name__
    print 'parent process:', os.getppid()
    print 'process id:', os.getpid()

def f(name):
    sys.stdout = open(str(os.getpid()) + ".out", "w")
    info('function f')
    print 'hello', name

if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    q = Process(target=f, args=('fred',))
    q.start()
    p.join()
    q.join()

Et en l'exécutant:

$ ls 
m.py 
$ python m.py 
$ ls 
27493.hors 27494.s.py 
$ cat 27493.hors 
la fonction f 
nom du module: __principaux__ 
processus père: 27492 
id de processus: 27493 
bonjour bob 
$ cat 27494.hors 
la fonction f 
nom du module: __principaux__ 
processus père: 27492 
id de processus: 27494 
bonjour fred

InformationsquelleAutor Mark Rushakoff

14

Il y a seulement deux choses que je voudrais ajouter à @Mark Rushakoff réponse. Lors du débogage, je l'ai trouvé vraiment utile de changer les buffering paramètre de mon open() appels à 0.
```
sys.stdout = open(str(os.getpid()) + ".out", "a", buffering=0)
```
Sinon, folie, parce que quand tail -fing le fichier de sortie, les résultats peuvent être extrêmement intermittent. buffering=0 pour tail -fing grande.

Et pour être exhaustif, faites-vous une faveur et de les rediriger sys.stderr ainsi.
```
sys.stderr = open(str(os.getpid()) + "_error.out", "a", buffering=0)
```
Aussi, pour plus de commodité, vous pourriez dump que dans un processus distinct de la classe si vous le souhaitez,
```
class MyProc(Process):
    def run(self):
        # Define the logging in run(), MyProc's entry function when it is .start()-ed 
        #     p = MyProc()
        #     p.start()
        self.initialize_logging()

        print 'Now output is captured.'

        # Now do stuff...

    def initialize_logging(self):
        sys.stdout = open(str(os.getpid()) + ".out", "a", buffering=0)
        sys.stderr = open(str(os.getpid()) + "_error.out", "a", buffering=0)

        print 'stdout initialized'
```
Heres un correspondant gist
- J'ai eu un ValueError si vous choisissez cette solution en python 3.6 depuis la mise en mémoire tampon=0 n'est autorisé que pour le mode binaire. Mais vous pouvez y remédier en supprimant la mise en mémoire tampon=0 de le monkey patching de sys.stdout/stderr et en ajoutant rincer=True pour votre impression des déclarations. I. e. print("Stdout initialisé", flush=True). Il fonctionne comme un charme.
InformationsquelleAutor HeyWatchThis
11

Vous pouvez définir sys.stdout = Logger() où Logger est une classe dont les write méthode (immédiatement, ou accumulant jusqu'à un \n est détecté) appels logging.info (ou de toute autre manière que vous voulez vous connecter). Un exemple de cela dans l'action.

Je ne suis pas sûr de ce que tu veux dire par "un" processus (qui est donné, ce qui la distingue de toutes les autres...?), mais si vous voulez dire que vous savez ce processus, vous voulez sortir de cette façon, au moment de l'instanciation, alors vous pouvez l'envelopper de ses target fonction (et uniquement), ou le run méthode de remplacement dans un Process sous-classe -- dans une enveloppe qui effectue ce sys.stdout "redirection" -- et laisser les autres procédés seul.

Peut-être que si vous clouer le specs un peu je peux vous aider plus en détail...?

InformationsquelleAutor Alex Martelli

Vous devez vous connecter pour publier un commentaire.