Programmes en cours d'exécution en parallèle en utilisant xargs

J'ai actuellement le script courant.

#!/bin/bash
# script.sh

for i in {0..99}; do
   script-to-run.sh input/ output/ $i
done

Je souhaite l'exécuter en parallèle en utilisant xargs. J'ai essayé

script.sh | xargs -P8

Mais faire la ci-dessus n'est exécutée une fois à l'heure. Pas de chance avec -n8 ainsi.
Ajout & à la fin de la ligne pour être exécuté dans le script de la boucle essayez d'exécuter le script, de 99 à la fois. Comment puis-je exécuter la boucle de seulement 8 à la fois, jusqu'à 100 au total.

C'est ce que j'ai d'abord voulu faire, mais a dû recourir à xargs parce que je suis sur Windows. Je n'ai pas été en mesure d'obtenir GNU Parallèles s'exécutant sur Windows
C'est que le script appelant lui-même ou avez-vous juste de confondre les noms quand vous avez demandé ici?
Désolé, il doit appeler un autre script. Je vais le corriger
La réponse à stackoverflow.com/questions/3321738/... est pertinente ici.

InformationsquelleAutor Olivier | 2015-02-06

87

De la xargs homme page:

Cette page de manuel documente la version GNU de xargs. xargs lit éléments
à partir de l'entrée standard, délimités par des blancs (qui peut être protégé
avec simple ou double quotes ou une barre oblique inverse) ou des retours à la ligne, et l'exécute
la commande (par défaut, /bin/echo) une ou plusieurs fois avec le premier-
les arguments suivie par les éléments de lire l'entrée standard. Les lignes blanches sur
l'entrée standard sont ignorés.

Ce qui signifie que, pour votre exemple xargs est en attente et la collecte de la totalité de la production à partir de votre script, puis en exécutant echo <that output>. Pas exactement tout utile, ni ce que tu voulais.

La -n argument est le nombre d'éléments à partir de l'entrée à utiliser avec chaque commande est exécuté (rien, par lui-même, sur le parallélisme ici).

À faire ce que vous voulez avec xargs vous aurez besoin de faire quelque chose de plus comme cette (non testé):
```
printf %s\\n {0..99} | xargs -n 1 -P 8 script-to-run.sh input/ output/
```
Qui se décompose comme ceci.
- printf %s\\n {0..99} - Imprimer un numéro par ligne de 0 à 99.
- Exécuter xargs
  - prendre au plus un argument pour exécuter la ligne de commande
  - et exécuter jusqu'à huit processus à un moment
- En fait, vous n'avez pas besoin de présenter des arguments sur des lignes distinctes; xargs mot-splits. Donc echo {0..99} | pourrait fonctionner tout aussi bien. <<<{0..99} ne semble pas fonctionner, bien que <<<word est documenté comme brace-l'expansion de mot, il ne le fait pas avec n'importe quelle version de bash que j'ai à portée de main.
- Ressemble à une documentation bug puis surtout étant donné que la documentation pour les Documents ne pas mention attelle d'extension (et il ne se passe pas là, soit dans un test rapide) bien qu'ils ne parlent pas de tilde expansion (ce qui n'est pas le cas << mais ne pour <<< donc *shrug*). Les extensions qui ne sont et ne se produit pas dans les docs ici et ici, les cordes sont un peu bizarre à mon esprit.
- Comment peut-on séparer les résultats de différentes pistes avec, par exemple, les retours à la ligne?
- Grande réponse. merci.
InformationsquelleAutor Etan Reisner
49

Avec GNU Parallèle, vous feriez:
```
parallel script-to-run.sh input/ output/ {} ::: {0..99}
```
Ajouter dans -P8 si vous ne pas souhaitez exécuter un travail par cœur de PROCESSEUR.

En face de xargs, il va faire La bonne Chose, même si l'entrée contenir d'espace", ou " (pas le cas ici, tout de même). Il assure également la sortie à partir de différents travaux ne sont pas mélangés, de sorte que si vous utilisez la sortie vous avez la garantie que vous n'aurez pas une demi-ligne à partir de deux emplois différents.

GNU Parallèle est un général parallelizer et est facile à exécuter des tâches en parallèle sur la même machine ou sur plusieurs machines, vous avez un accès ssh.

Si vous avez 32 les différents travaux que vous souhaitez exécuter sur 4 Processeurs, directement à la parallélisation consiste à exécuter 8 emplois sur chaque CPU:

GNU Parallèle au lieu de cela génère un nouveau processus quand on aura fini de maintien de la Cpu actifs et ainsi d'économiser le temps:

Installation

Si GNU Parallèle n'est pas emballé pour votre distribution, vous pouvez faire une installation personnelle, qui ne nécessite pas d'accès root. Il peut être fait dans les 10 secondes en faisant ceci:
```
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
```
Pour d'autres options d'installation voir http://git.savannah.gnu.org/cgit/parallel.git/tree/README

En savoir plus

Voir plus d'exemples: http://www.gnu.org/software/parallel/man.html

Regarder les vidéos d'intro: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Promenade à travers le tutoriel: http://www.gnu.org/software/parallel/parallel_tutorial.html

Inscrire à la liste de courriel pour obtenir de l'assistance: https://lists.gnu.org/mailman/listinfo/parallel
- Cela ne veut pas répondre à la question, ni le point pourquoi xargs ne peut réaliser la même chose.
- downvote parce que xarg pour moi est exactement comme deuxième image montre.
- Êtes-vous conscients que pas tout le monde utilise la version de xargs que vous utilisez et que P n'est pas dans toutes les versions de xargs?
- Il est disponible dans les dernières versions de BSD et GNU xargs. Je pense qu'il est sûr de dire que la fonction sera finalement devenue omniprésente.
- Nan: -j est un alias pour -P. Si vous souhaitez exécuter sur 1 thread CPU inférieure (par exemple 7 sur 8), puis utilisez -j-1. GNU Parallèle détecte automatiquement le nombre de threads CPU.
- Oui. Désolé. Comment je RTFM? - Je ne sais pas. :/
- Peut-être que tous ne sont pas conscients de ce que cette réponse est fournie par l'auteur de GNU parallèle.
InformationsquelleAutor Ole Tange

Vous devez vous connecter pour publier un commentaire.