comment grep grand nombre de fichiers?

Je suis en train de grep 40k fichiers dans le répertoire courant et j'obtiens cette erreur.

for i in $(cat A01/genes.txt); do grep $i *.kaks; done > A01/A01.result.txt
-bash: /usr/bin/grep: Argument list too long

Comment faire une normalement grep des milliers de fichiers?

Merci
Upendra

Je pense que vous utilisez find au lieu

OriginalL'auteur upendra | 2014-05-09

bash grep

29

Ce fait David triste...

Tout le monde jusqu'à présent est faux (sauf pour anubhava).

Scripts Shell n'est pas comme n'importe quel autre langage de programmation, car une grande partie de l'interprétation des lignes vient de la puissance de la coque en interpolant entre eux avant que la commande est exécutée.

Nous allons prendre quelque chose de simple:
```
$ set -x
$ ls
+ ls
bar.txt foo.txt fubar.log
$ echo The text files are *.txt
echo The text files are *.txt
> echo The text files are bar.txt foo.txt
The text files are bar.txt foo.txt
$ set +x
$
```
La set -x vous permet de voir comment le shell fait interpole la boule et passe alors que de retour de la commande comme entrée. Le > points à la ligne qui est effectivement exécutée par la commande.

Vous pouvez voir que le echo commande n'est pas l'interprétation de la *. Au lieu de cela, le shell attrape le * et le remplace par le nom des fichiers correspondants. Alors, et seulement alors ne le echo commande exécute la commande.

Lorsque vous avez 40K plus de fichiers, et vous ne grep *, vous êtes à l'expansion de cette * pour les noms de ceux 40,000 ainsi que les fichiers avant de les grep a même une chance de s'exécuter, et c'est là le message d'erreur /usr/bin/grep: liste d'arguments trop longue.

Heureusement, Unix a un moyen de contourner ce dilemme:
```
$ find . -name "*.kaks" -type f -maxdepth 1 | xargs grep -f A01/genes.txt
```
La find . -name "*.kaks" -type f -maxdepth 1 trouverez tous vos *.kaks fichiers, et le -depth 1 incluent uniquement les fichiers dans le répertoire courant. Le -type f permet de récupérer les fichiers et non pas un répertoire.

La find commande tuyaux les noms des fichiers dans xargs et xargs ajoutera le nom du fichier à la grep -f A01/genes.txtde commande. Cependant, xargs un coup il manchon. Il sait combien de temps la ligne de commande de la mémoire tampon est, et continuera d'exécuter le grep lorsque la ligne de commande de la mémoire tampon est pleine, puis la passer dans une autre série de fichiers à la grep. De cette façon, grep est exécuté peut-être trois ou dix fois (selon la taille de la ligne de commande de la mémoire tampon), et tous nos fichiers sont utilisés.

Malheureusement, xargs utilise l'espace comme séparateur pour les noms de fichier. Si vos fichiers contiennent des espaces ou des tabulations, vous allez avoir du mal xargs. Heureusement, il y a un autre correctif:
```
$ find . -name "*.kaks" -type f -maxdepth 1 -print0 | xargs -0 grep -f A01/genes.txt
```
La -print0 va provoquer find pour imprimer les noms de fichiers ne sont pas séparées par des sauts de ligne, mais par le caractère NUL. Le -0 paramètre pour xargs dit xargs que le séparateur de fichiers n'est pas d'espaces, mais le caractère NUL. Ainsi, résout le problème.

Vous pourriez aussi le faire trop:
```
$ find . -name "*.kaks" -type f -maxdepth 1 -exec grep -f A01/genes.txt {} \;
```
Exécute le grep pour chaque fichier trouvé, au lieu de ce xargs qui fonctionne et ne fonctionne grep pour tous les fichiers qu'il peut de choses sur la ligne de commande. L'avantage, c'est qu'il évite shell interférence entièrement. Cependant, il peut ou peut ne pas être de moins en moins efficace.

Ce qui serait intéressant, c'est d'expérimenter et de voir lequel est le plus efficace. Vous pouvez utiliser time à voir:
```
$ time find . -name "*.kaks" -type f -maxdepth 1 -exec grep -f A01/genes.txt {} \;
```
Execute la commande puis vous dire combien de temps il a fallu. Essayez-le avec le -exec et avec xargs et de voir laquelle est la plus rapide. Laissez-nous savoir ce que vous trouvez.

+1 chapeau à l'énorme temps que vous avez investi dans l'explication de ce.
Ouais, et il est venu avec une réponse correcte alors que j'étais au milieu de tout ça. Juste avant que j'ai posté, j'ai dû faire une modification rapide dans mon tout le monde est mauvais déclaration.
beaucoup pour une explication détaillée. J'ai l'exécution de deux des moyens et le calendrier et sera mise à jour dès que j'ai fini...
J'ai été en attente pour quelqu'un de publier le droit de réponse, mais en voyant tous les autres imparfait réponses que j'ai posté vite.
Si vous êtes préoccupé par la vitesse, ne devriez-vous pas être à l'aide de la -exec command {} + forme, au moins sur les systèmes qui le supportent?

OriginalL'auteur David W.
7

Vous pouvez combiner find avec grep comme ceci:
```
find . -maxdepth 1 -name '*.kaks' -exec grep -H -f A01/genes.txt '{}' \; > A01/A01.result.txt
```
Cette réponse bien résout ces deux problèmes potentiels: il évite (a) d'augmenter le cat A01/genes.txt sur la ligne de commande et ça évite (b) l'élargissement de *.kaks sur la ligne de commande.
Merci @anubhava pour votre aide encore une fois....

OriginalL'auteur anubhava

vous pouvez utiliser récursif de la fonction de grep:

for i in $(cat A01/genes.txt); do 
    grep -r $i .
done > A01/A01.result.txt

mais si vous voulez sélectionner uniquement kaks fichiers:

for i in $(cat A01/genes.txt); do 
    find . -iregex '.*\.kaks$' -exec grep $i \;
done > A01/A01.result.txt

OriginalL'auteur zmo

0

Mettre une autre boucle for à l'intérieur de votre extérieur:
```
for f in *.kaks; do
   grep -H  $i "$f"
done
```
En passant, êtes-vous intéressé à trouver TOUTES les occurrences dans chaque fichier, ou simplement si la chaîne de recherche existe-il une ou plusieurs fois? Si elle est assez "bon" pour connaître la chaîne se produit là une ou plusieurs fois, vous pouvez spécifier l'option "-n 1" grep et il ne sera pas la peine de lire/rechercher dans le reste du fichier, après avoir trouvé le premier match, qui pourrait sauver beaucoup de temps.

j'ai utilisé la méthode suggérée mon @David et il a bien fonctionné. Merci pour l'alternative...

OriginalL'auteur Mark Setchell
0

La solution suivante a fonctionné pour moi:

Problème:
```
 grep -r "example\.com" *
 -bash: /bin/grep: Argument list too long
```
Solution:
```
grep -r "example\.com" .
```
["Dans les versions plus récentes de grep, vous pouvez omettre le “.“, le répertoire courant est implicite."]

Source:
Reinlick, J. https://www.saotn.org/bash-grep-through-large-number-files-argument-list-too-long/

OriginalL'auteur Scientist

Vous devez vous connecter pour publier un commentaire.