Supprimer des lignes dans un fichier texte qui contient une chaîne de caractères

Comment puis-je utiliser sed pour supprimer toutes les lignes dans un fichier texte qui contient une chaîne de caractères?

InformationsquelleAutor A Clockwork Orange | 2011-03-23
  1. 2434

    À supprimer la ligne et de l'impression de la sortie standard:

    sed '/pattern to match/d' ./infile

    Pour modifier directement le fichier ne fonctionne pas avec BSD sed:

    sed -i '/pattern to match/d' ./infile

    Même, mais pour BSD sed (Mac OS X et FreeBSD) – ne fonctionne pas avec GNU sed:

    sed -i '' '/pattern to match/d' ./infile

    Pour modifier directement le fichier (et de créer une copie de sauvegarde) – fonctionne avec les systèmes BSD et GNU sed:

    sed -i.bak '/pattern to match/d' ./infile
    • Merci, mais il ne semble pas effacer le contenu du fichier, mais il suffit d'imprimer le fichier texte contenu sans cette chaîne.
    • Sur des roulettes: oui, vous avez besoin de rediriger la sortie vers un nouveau fichier avec quelque chose comme sed '/pattern to match/d' ./infile > ./newfile ou si vous voulez faire une édition sur place, alors vous pouvez ajouter la -i drapeau de sed comme dans sed -i '/pattern to match/d' ./infile. Notez que le -i indicateur nécessite GNU sed et n'est pas portable
    • Comment puis-je savoir quelle version de sed-je? GNU ou non GNU?
    • Pour certains, la saveur de sed; sed "-i" drapeau requis une extension à être fournis. (par exemple,sed -i.backup '/pattern to match/d' ./infile) Qui m'a dans l'ensemble avec en place des modifications.
    • Mieux encore, ne pas appliquer des commandes comme sed pour les fichiers qui ne sont pas sous contrôle de version.
    • Encore une remarque pour les utilisateurs de Mac OS X: pour une raison quelconque, l'option-i nécessite un argument, même si c'est juste une chaîne vide, comme sed -i '' '/pattern/d' ./infile.
    • voir avelis' commentaire ci-dessus. Je n'ai pas de Mac (encore) mais je vais faire une supposition éclairée que vous pouvez faire -i 'bak' ou -i.bak
    • Je ne sais pas pourquoi, mais le minimum de commande est traduite dans un fichier vide 🙁
    • Avec GNU sed 4,2,2, l'-je " ne fonctionne pas du tout. Il considère que le modèle de faire correspondre le nom du fichier. Il suffit de retirer le ".
    • Merci pour la mise à jour. Ma réponse ne contient pas les guillemets vides de la partie et la réponse a été édité par la communauté en raison d'une incompatibilité avec la OSX version de sed. Nous espérons que cette mise à jour une réponse commune pour les deux; il fonctionne certes avec GNU sed 4.2.2
    • sur ubuntu sed -i.bak "/str/d" ./infile supprime la totalité de mon fichier.
    • Notez que si votre modèle contient des slashes ( / ), vous pouvez utiliser un autre modèle de séparateur, mais doit alors échapper à la première, par exemple: sed -i.bak "\#$pattern_variable_containing_slashes#d" ./infile
    • le plus agréable est de faire sed -i -e '/pattern/d' files... La raison supplémentaire param est besoin de ed est parce que -i prendrait le modèle comme un param.
    • En écrivant dans le fichier semble avoir besoin d'un intermédiaire fichier temp: sed '/pattern to match/d' ./infile > temp && mv temp infile
    • oui, voir le 2ème commentaire en haut de cette réponse
    • Si je veux regarder un modèle qui se termine par " E1 "(pas " E11 " ou "E12'), alors que dois-je faire?
    • Vous ancrez votre match avec '$' comme dans '/motif de fin de E1$/'
    • Donc, comme sed '/E1$/d' fichier ?
    • comment puis-je utiliser sed -i mais PAS imprimer la sortie standard?
    • le -i ne doit pas imprimer sur la sortie standard, par sa nature même
    • Veuillez noter que le motif de match, est sensible à la casse.
    • Note pour les personnes qui cherchent à modifier les ÉNORMES fichiers: sed ne fait qu'écrire un fichier temp. Ce n'est pas vraiment "sur place". Si vous n'avez pas assez d'espace disque que vous va être hors de l'espace disque et b) ont pour supprimer manuellement le fichier temp.
    • Pour Mac OS X, une nouvelle ligne devait être ajoutées dans les fichiers sans les matchs, c'est pas bon du tout!
    • Une autre option sur OS X (qui comprend BSD sed) est à installer GNU sed, par exemple, obtenir gsed avec MacPorts avec sudo port install gsed.
    • La petite info en plus dans les commentaires devraient être ajoutés à la réponse à modifier. Merci pour les commentaires d'Eric et @SiegeX j'ai été en mesure de supprimer la ligne "cd /home" sans enlever "cd /home/workdir". Le combiné de commande a: sed -i '\#cd /home$#d' myfile

    InformationsquelleAutor SiegeX
  2. 587

    Il existe de nombreuses autres manières de supprimer les lignes avec chaîne spécifique en plus de sed:

    AWK

    awk '!/pattern/' file > temp && mv temp file

    Ruby (1.9+)

    ruby -i.bak -ne 'print if not /test/' file

    Perl

    perl -ni.bak -e "print unless /pattern/" file

    Shell (bash 3.2 et versions ultérieures)

    while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

    GNU grep

    grep -v "pattern" file > temp && mv temp file

    Et bien sûr sed (l'impression de l'inverse est plus rapide que la suppression effective):

    sed -n '/pattern/!p' file
    • comment faire pour supprimer une ligne en particulier avec un motif et aussi la ligne immédiatement au-dessus d'elle? J'ai un bien avec des milliers de ces lignes entre les différentes données.
    • Sur OS/X, l'interpréteur de commandes de variation de ne pas préserver les espaces, mais la commande grep-v variation a bien fonctionné pour moi.
    • le sed exemple, ont un comportement différent, il ne grep! il doit être quelque chose comme sed -n -i '/pattern/!p' file.
    • La commande grep version ne fonctionne pas lorsque chaque ligne correspond au modèle. Mieux faire: grep -v "pattern" file > temp; mv temp file Cela pourrait s'appliquer à d'autres exemples en fonction de la valeur de retour.
    • "l'impression de l'inverse est plus rapide que la suppression effective" - et non Pas sur ma machine (2012 MacBook Air, mac OS X 10.13.2). Créer le fichier: seq -f %f 10000000 >foo.txt. sed d: time sed -i '' '/6543210/d' foo.txt réel 0m9.294s. sed !p: time sed -i '' -n '/6543210/!p' foo.txt réel 0m13.671s. (Pour les petits fichiers, la différence est plus grande.)
    • y aurait-il moyen de quitter la première ligne du fichier texte, mais d'appliquer ensuite la supprimer pour toutes les autres lignes? (pour le AWK option) @Peter Mortensen
    • Si vous souhaitez conserver attaque et de fuite des espaces suffit d'utiliser while IFS= read -r line à la place (ce comportement n'a rien à voir avec OS/X, ce qui est normal dans tous les POSIX coquilles)

    InformationsquelleAutor kurumi
  3. 225

    Vous pouvez utiliser sed pour remplacer les lignes en place dans un fichier. Cependant, il semble être beaucoup plus lent que d'utiliser grep pour l'inverse dans le second fichier, puis en déplaçant le deuxième fichier de l'original.

    par exemple

    sed -i '/pattern/d' filename

    ou

    grep -v "pattern" filename > filename2; mv filename2 filename

    La première commande prend 3 fois plus de temps sur ma machine de toute façon.

    • De vote de votre réponse aussi, juste parce que vous avez essayé une comparaison de performances!
    • +1, offrant à la possibilité d'écraser les fichier courant avec la commande grep ligne.
    • pour une raison quelconque, le mac os sed version(BSD) est de ne pas accepter de zéro-longueur du nom de fichier de sauvegarde mais quand on est à condition qu'il fonctionne.
    • Le deuxième 'grep' solution est également mieux pour les gros fichiers
    • Je suis curieux de ce que la différence de performances serait si elle était sed '/pattern/d' filename > filename2; mv filename2 filename
    • (ubuntu dans /usr/share/dict/words) grep et mv: 0.010 s | sed en place: 0.197 s | sed et mv: 0.031 s
    • Comment puis-je supprimer la ligne contenant un texte dans AUCUN fichier? Disons que je suis dans /var/www/html/ et que vous souhaitez supprimer une ligne contenant "hacker.com" dans un fichier PHP?
    • trouver . -type f -name "*.php" | xargs -ifile sed-i '/hacker.com/d' fichier
    • cat filename | grep -v "pattern" > filename

    InformationsquelleAutor slashdottir
  4. 65

    Le moyen facile de le faire, avec GNU sed:

    sed --in-place '/some string here/d' yourfile
    • Un conseil pratique pour les autres qui trébuchent sur cette Q&Un fil et sont de nouveau à la création de scripts shell: Courte options sont très bien pour des utilisations sur la ligne de commande, mais sur le long options devraient être privilégiées dans les scripts, car ils sont plus lisibles.
    • +1 pour le-dans-la place du drapeau. J'ai besoin de tester que sur les autorisations des fichiers protégés. (avez à faire à l'utilisateur de les frotter.)
    • Notez que l'option n'est disponible que sur GNU sed. Mac et BSD les utilisateurs devront installer gsed de faire de cette façon.
    InformationsquelleAutor Kevin Nguyen
  5. 31

    Vous pouvez envisager d'utiliser ex (qui est un standard d'Unix à base de commandes de l'éditeur):

    ex +g/match/d -cwq file

    où:

    • + exécute compte tenu de commande Ex (man ex), de même que -c qui exécute wq (écrire et quitter)
    • g/match/d - Ex de commande à supprimer les lignes avec le match, voir: La puissance de g

    L'exemple ci-dessus est conforme à POSIX méthode pour l'édition d'un fichier de ce poste à Unix.SE et Spécifications POSIX pour ex.

    La différence avec sed est que:

    sed est un Stream EDitor, pas un éditeur de fichier.BashFAQ

    Sauf si vous aimez portables code, I/O frais généraux et à certains autres mauvais effets secondaires. Donc, fondamentalement, certains paramètres (tels que la place/-i) sont non-standard FreeBSD extensions et peuvent ne pas être disponibles sur d'autres systèmes d'exploitation.

    • c'est génial... quand je ne man ex il me donne l'homme pour vim, il semble ex fait partie de vim... si j'ai compris tout cela signifie que le modèle de syntaxe pour match est vimregex.com qui est similaire, mais différent de la norme POSIX et PCRE saveurs?
    • :g est POSIX commande avec certains les légères différences. Je suppose PCRE en a été tiré.
    InformationsquelleAutor kenorb
  6. 14

    J'ai eu du mal avec ce sur Mac. De Plus, j'avais besoin de le faire en utilisant des variables de remplacement.

    J'ai donc utilisé:

    sed -i '' "/$pattern/d" $file

    où $file est le fichier où la suppression est nécessaire et $pattern est le motif pour être assorti de la suppression.

    J'ai pris les '' de cette commentaire.

    La chose à noter ici est l'utilisation de guillemets dans "/$pattern/d". Variable ne fonctionne pas lorsque nous utilisons des guillemets simples.

    • Mac sed nécessite un paramètre après -i, donc si vous ne voulez pas d'une sauvegarde, vous devez toujours ajouter une chaîne vide: -i ''
    • Pour l'utilisation de shell sed -i "/$pattern/d" $file . Je vous remercie pour votre réponse.
    InformationsquelleAutor Aniket Sinha
  7. 13

    J'ai fait un petit test avec un fichier qui contient environ 345 000 lignes. La manière avec grep semble être autour de 15 fois plus rapide que la sed méthode dans ce cas.

    J'ai essayé avec et sans la mise LC_ALL=C, il ne semble pas modifier les horaires de manière significative. La chaîne de recherche (CDGA_00004.pdbqt.gz.tar) est quelque part dans le milieu du fichier.

    Voici les commandes et les horaires:

    time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s
    • La plate-forme êtes-vous? Les versions de sed/perl/grep utilisez-vous?
    • La plate-forme que j'utilise Linux (Gentoo). Le sed est la version de GNU sed v 4.2.2, la version en perl perl 5 (je ne peux pas dire quelle version j'ai utilisé au moment du test), et grep (GNU) est la version 3.0.
    InformationsquelleAutor Jadzia
  8. 12

    Pour obtenir une place comme résultat avec grep vous pouvez faire ceci:

    echo "$(grep -v "pattern" filename)" >filename
    • Cela n'est bon que pour les bash shell ou similaires (pas tcsh).
    InformationsquelleAutor Jahid
  9. 12

    Vous pouvez également utiliser cette:

     grep -v 'pattern' filename

    Ici -v pourrez imprimer autre que votre modèle (c'est à dire inverser la correspondance).

    InformationsquelleAutor Bhuvanesh
  11. 3
    perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

    La première commande modifie le fichier(s) place (-i).

    La deuxième commande fait la même chose, mais conserve une copie ou sauvegarde du fichier d'origine(s) par l'ajout d' .bk pour les noms de fichier (.bk peut être changé à n'importe quoi).

    InformationsquelleAutor Kjetil S.
  12. 2

    echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

    InformationsquelleAutor Shizzmo
  13. 1
    cat filename | grep -v "pattern" > filename.1
mv filename.1 filename
    • Vous êtes à l'écrasement d'un fichier alors qu'il est encore en usage.
    • fixe
    InformationsquelleAutor Andrey Izman
  14. 0

    Juste au cas où quelqu'un veut le faire pour les correspondances exactes de chaînes de caractères, vous pouvez utiliser le -w drapeau grep - w pour l'ensemble. C'est, par exemple, si vous souhaitez supprimer les lignes qui ont le numéro 11, mais de maintenir les lignes avec le numéro 111:

    -bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

    Elle travaille également avec la -f drapeau si vous souhaitez exclure plusieurs exacte des motifs à la fois. Si la "liste noire" est un fichier avec plusieurs modèles sur chaque ligne que vous voulez supprimer dans "fichier":

    grep -w -v -f blacklist file
    • Un peu trompeur. -w, --word-regexp Select only those lines containing matches that form whole words. vs -x, --line-regexp Select only those matches that exactly match the whole line. For a regular expression pattern, this is like parenthesizing the pattern and then surrounding it with ^ and $.
    InformationsquelleAutor FatihSarigol