De recherche et de remplacement dans un bash en utilisant des expressions régulières

J'ai vu cet exemple:

hello=ho02123ware38384you443d34o3434ingtod38384day
echo ${hello//[0-9]/}

Qui suit la syntaxe suivante: ${variable//pattern/replacement}

Malheureusement, le pattern champ ne semble pas en charge l'intégralité de la regex de la syntaxe (si j'utilise . ou \s, par exemple, il essaie de faire correspondre les caractères).

Comment puis-je rechercher/remplacer une chaîne de caractères à l'aide de regex complète de la syntaxe?

  • Trouvé une question connexe ici: stackoverflow.com/questions/5658085/...
  • Pour info, \s ne fait pas partie de la norme POSIX définit la syntaxe d'expression régulière (ni BRE ou ERE); c'est une extension PCRE, et surtout pas disponibles à partir du shell. [[:space:]] est le plus universel équivalent.
  • \s peut être remplacé par [[:space:]], par la manière, . par ?, et extglob extensions de la ligne de base du shell modèle de langage peut être utilisé pour des choses comme option sous-groupes, groupes répétés, et la comme.
  • Une description de Bash modèles.
  • - Je l'utiliser dans bash version 4.1.11 sur Solaris... echo ${bonjour//[0-9]} Notez l'absence de la dernière barre oblique.
InformationsquelleAutor Lanaru | 2012-10-24
  1. 150

    Utilisation sed:

    MYVAR=ho02123ware38384you443d34o3434ingtod38384day
echo "$MYVAR" | sed -e 's/[a-zA-Z]/X/g' -e 's/[0-9]/N/g'
# prints XXNNNNNXXXXNNNNNXXXNNNXNNXNNNNXXXXXXNNNNNXXX

    Remarque que l' -e's sont traitées dans l'ordre. Aussi, le g drapeau de l'expression correspond à tous les événements de l'entrée.

    Vous pouvez aussi choisir votre outil préféré à l'aide de cette méthode, c'est à dire perl, awk, par exemple:

    echo "$MYVAR" | perl -pe 's/[a-zA-Z]/X/g and s/[0-9]/N/g'

    Ceci peut vous permettre de ne plus créatif matchs... Par exemple, dans la capture ci-dessus, les chiffres de remplacement ne seraient pas utilisés sauf s'il y a un match sur la première expression (en raison de paresseux and d'évaluation). Et bien sûr, vous avez le plein support de la langue de Perl pour faire votre appel d'offres...

    • Cette seulement une seule remplacer autant que je peux dire. Est-il un moyen de remplacer tous les événements de la répétition comme quoi le code que j'ai posté n'?
    • J'ai mis à jour ma réponse à démontrer plusieurs remplacements ainsi que de la correspondance de motif. Laissez-moi savoir si cela aide.
    • Merci beaucoup! Par curiosité, pourquoi avez-vous passez d'une version en ligne (dans l'original de votre réponse) pour un deux-liner?
    • Juste essayer de correspondre à votre question initiale de plus près...
    • Est-il une raison pour laquelle vous êtes à l'aide d'un all-caps MYVAR? La meilleure pratique est de sauver tous les majuscules pour les variables d'environnement shell et built-ins, évitant ainsi les conflits d'espace de noms.
    • À l'aide de sed ou d'autres outils externes est cher à cause de l'initialisation du processus de temps. J'ai particulièrement recherchées pour tous-bash solution, parce que j'ai trouvé à l'aide de bash substitutions à plus de 3x plus rapide que d'appeler sed pour chaque élément dans ma boucle.
    • si vous êtes encore à distance inquiet au sujet de la vitesse, ne pas utiliser bash 🙂
    • accordé, c'est la sagesse commune, mais qui ne débite pas le rendre sage. Oui, bash est lent n'importe quoi-mais bien écrit bash qui évite les sous-coquille est littéralement ordres de grandeur plus rapide que bash qui appelle à des outils externes pour chaque petite tâche. Aussi, bien écrit des scripts shell permettra de bénéficier plus rapidement des interprètes (comme ksh93, qui a des performances à la hauteur avec awk), alors que le mal-écrits il n'y a rien à faire pour.

    InformationsquelleAutor jheddings
  2. 119

    Ce fait peut être fait dans le plus pur bash:

    hello=ho02123ware38384you443d34o3434ingtod38384day
re='(.*)[0-9]+(.*)'
while [[ $hello =~ $re ]]; do
  hello=${BASH_REMATCH[1]}${BASH_REMATCH[2]}
done
echo "$hello"

    ...les rendements...

    howareyoudoingtodday
    • Quelque chose me dit que vous allez adorer ces: stackoverflow.com/questions/5624969/... =)
    • =~ est la clé. Mais un peu maladroit, compte tenu de la réaffectation dans la boucle. @jheddings solution 2 ans avant est une autre bonne option - appel sed ou perl).
    • L'appel de sed ou perl est judicieux, si l'utilisation de chaque invocation, pour traiter plus d'une seule ligne de saisie. L'invocation d'un tel outil à l'intérieur d'une boucle, par opposition à l'aide d'une boucle de traitement des flux de sortie, est irresponsable.
    • FYI, zsh, c'est juste $match au lieu de $BASH_REMATCH. (Vous pouvez la faire se comporter comme bash avec setopt bash_rematch.)
    • C'est bizarre-dans la mesure où zsh n'est pas en essayant d'être un shell POSIX, c'est sans doute à la suite de la lettre de POSIX conseils sur les majuscules, les variables utilisées pour POSIX-spécifié (shell ou du système) des finalités et des minuscules variables étant réservée à une utilisation de l'application. Mais dans la mesure où zsh est quelque chose que pistes applications, plutôt que l'application elle-même, cette décision d'utiliser la variable d'application de l'espace de noms plutôt que l'espace de noms system semble terriblement pervers.
    • votre réponse aurait été plus appréciable si vous pouviez ajouter un peu d'explication
    • Une façon d'obtenir $re dans cet exemple, pour correspondre à un retour à la ligne? Y compris $'\n' ne semble pas fonctionner comme il le ferait d'ailleurs.
    • vous posez une question à ce sujet avec un reproducteur, pourriez-vous me lier dans? $'\n' fonctionne pour moi (tm).
    • Dirait qu'il a juste besoin de beaucoup d'emballage: pattern='(['$'\n"])'; [[ "$some_var" =~ $pattern ]]
    • Vous n'avez pas besoin de tout ça. pattern='(['$'\n''])' est juste un inutilement bavard façon d'écrire pattern=$'([\n])'. Non pas que je suis sûr de savoir pourquoi vous avez parens ou le corset d'expression que ce soit; [[ $some_var =~ $'\n' ]] fonctionne très bien comme elle est.
    • Dire que spellcheck(1). Ou des scripts qui souhaitent avoir moins de dépendance. Je n'en conviennent autrement.
    • qu'est-ce que spellcheck? Parce que shellcheck n'a pas de problème avec [[ $some_var =~ $'\n' ]] -- qui n'a pas de dépendances autres que bash 3.2 ou version ultérieure; même Apple, l'expédition d'un ancien pré-GPLv3 libération, prévoit que.
    • Soupir. J'aurais juré que j'ai résolu le ruddy auto "correction". Oui, je voulais dire shellcheck. Désolé à ce sujet. De toute façon ce que je voulais dire: à l'Aide de sed il va se plaindre, dans certains cas, de toute façon.

    InformationsquelleAutor Charles Duffy
  3. 84

    Ces exemples fonctionnent aussi dans bash pas besoin d'utiliser sed:

    #!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day
MYVAR=${MYVAR//[a-zA-Z]/X} 
echo ${MYVAR//[0-9]/N}

    vous pouvez également utiliser le caractère de classe de support des expressions

    #!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day
MYVAR=${MYVAR//[[:alpha:]]/X} 
echo ${MYVAR//[[:digit:]]/N}

    sortie

    XXNNNNNXXXXNNNNNXXXNNNXNNXNNNNXXXXXXNNNNNXXX

    Ce que @Lanaru voulais savoir, cependant, si je comprends correctement à la question, est pourquoi le "plein" ou PCRE extensions \s\S\w\W\d\D etc ne fonctionnent pas pris en charge dans php, ruby, python, etc Ces extensions sont de Perl-compatible regular expressions (PCRE) et peuvent ne pas être compatibles avec d'autres formes de coque à base d'expressions régulières.

    Ce n'est pas le travail: 

    #!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo ${hello//\d/}


#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo $hello | sed 's/\d//g'

    de sortie avec tous les littérale "d" supprime les caractères de 

    ho02123ware38384you44334o3434ingto38384ay

    mais la suivante ne fonctionne pas comme prévu

    #!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo $hello | perl -pe 's/\d//g'

    sortie

    howareyoudoingtodday

    Espoir qui clarifie les choses un peu plus, mais si vous n'êtes pas confus encore, pourquoi ne pas vous essayer sur Mac OS X qui a la REG_ENHANCED indicateur activé:

    #!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day;
echo $MYVAR | grep -o -E '\d'

    Sur la plupart des saveurs de *nix, vous ne verrez que la sortie suivante:

    d
d
d

    nJoy!

    • Pardon? ${foo//$bar/$baz} est pas POSIX.2 REP ERE ou la syntaxe -- c'est fnmatch()-style de pattern matching.
    • ...ainsi, alors que ${hello//[[:digit:]]/} fonctionne, si nous voulions pour filtrer uniquement des chiffres précédés de la lettre o, ${hello//o[[:digit:]]*} aurait un tout autre comportement que l'on attendait (puisque dans fnmatch modèles, * correspond à tous les caractères, plutôt que de modifier les immédiatement avant l'élément à 0 ou plus).
    • Voir pubs.opengroup.org/onlinepubs/9699919799/utilities/... (et tout ce qu'il incorpore par référence) pour les spécifications complètes sur fnmatch.
    • Le point qu'il a essayé de faire passer, c'est qu'il n'est pas PCRE, merci pour l'info allons étudier.
    • man bash: Un opérateur binaire, =~, est disponible, avec le même ordre de priorité que == et !=. Lorsqu'il est utilisé, la chaîne à droite de l'opérateur est considéré comme une expression régulière étendue et adaptés en conséquence (comme dans l'expression rationnelle(3)).
    • oui, [[ $foo =~ $bar ]] (qui, vous pouvez le constater, j'ai utilisé dans ma réponse) est ERE, mais ${foo//$bar/$baz} ne l'est pas.
    • J'ai confiance en la mise à jour, vous trouverez dans l'ordre. Mes excuses, je ne voulais pas offenser...
    • Beaucoup mieux; +1.
    • Ne pas "\d" spécifier "chiffres"s? Pourquoi est-ce que la cueillette de "d"s? Est-ce parce que ce n'est pas "PCRE" la saveur de la Regex?
    • vous avez raison, pour les chiffres, vous pouvez utiliser [0-9] ou [[:digit:]]

    InformationsquelleAutor nickl-
  4. 12

    Si vous faites des appels répétés et sont soucieux de performances, Ce test révèle la fête de la méthode est d'environ 15x plus rapide que la bifurcation pour le sed et d'autres processus externe.

    hello=123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X

P1=$(date +%s)

for i in {1..10000}
do
   echo $hello | sed s/X//g > /dev/null
done

P2=$(date +%s)
echo $[$P2-$P1]

for i in {1..10000}
do
   echo ${hello//X/} > /dev/null
done

P3=$(date +%s)
echo $[$P3-$P2]
    InformationsquelleAutor Josiah DeWitt
  5. 6

    Utilisation [[:digit:]] (notez le double crochets) selon le modèle:

    $ hello=ho02123ware38384you443d34o3434ingtod38384day
$ echo ${hello//[[:digit:]]/}
howareyoudoingtodday

    Voulais juste résumer les réponses (surtout @nickl-'s https://stackoverflow.com/a/22261334/2916086).

    InformationsquelleAutor yegeniy