Comment décoder URL-chaîne codée en shell?

Voici un exemple simple d'une solution en ligne.

$ urldecode() { : "${*//+/}"; echo -e "${_//%/\\x}"; }

Il peut ressembler à perl 🙂 mais c'est juste pure bash. Pas de awks, pas de sed ... pas de frais généraux. À l'aide de l' : builtin, les paramètres spéciaux, modèle de substitution et l'écho builtin l'option-e pour traduire les codes hex en personnages. Voir le bash de la page de manuel pour plus de détails. Vous pouvez utiliser cette fonction en tant que distincte de commande

$ urldecode https%3A%2F%2Fgoogle.com%2Fsearch%3Fq%3Durldecode%2Bbash
https://google.com/search?q=urldecode+bash

ou dans les affectations de variables, comme suit:

$ x="http%3A%2F%2Fstackoverflow.com%2Fsearch%3Fq%3Durldecode%2Bbash"
$ y=$(urldecode "$x")
$ echo "$y"
http://stackoverflow.com/search?q=urldecode+bash

si vous êtes un python développeur, ce peut-être preferer

echo "%21%20" | python -c "import sys, urllib as ul; print ul.unquote(sys.stdin.read());"

urllib est professionnel de la manutention, il

Avec BASH, pour lire le pour cent URL encodée à partir de la norme et de décoder:

while read; do echo -e ${REPLY//%/\\x}; done

Appuyez sur CTRL-D pour le signal de la fin de fichier(EOF) et quitter normalement.

Vous pouvez décoder le contenu d'un fichier en paramètre le fichier à la norme en:

while read; do echo -e ${REPLY//%/\\x}; done < file

Vous pouvez décoder entrée à partir d'un tuyau, par exemple:

echo 'a%21b' | while read; do echo -e ${REPLY//%/\\x}; done

• Le lire intégré dans la commande lit standard jusqu'à ce qu'il voit un caractère de saut de Ligne. Il définit une variable appelée REPLY égal à la ligne de texte qu'il vient de lire.
• ${REPLY//%/\\x} remplace toutes les occurrences de '%' avec '\x'.
• echo -e interprète \xNN que le caractère ASCII avec la valeur hexadécimale de NN.
• alors que la répète en boucle jusqu'à ce que la commande de lecture échoue, par exemple. EOF a été atteint.

Le ci-dessus ne change pas '+' a'. Pour changer ' + '' a aussi, comme invité réponse:

while read; do : "${REPLY//%/\\x}"; echo -e ${_//+/ }; done

• : est un BASH builtin commande. Ici, il faut juste dans un seul argument et ne fait rien avec elle.
• Les guillemets faire tout à l'intérieur d'un seul paramètre.
• _ est un paramètre spécial qui est égal au dernier argument de la commande précédente, après l'argument de l'expansion. C'est la valeur de REPLY avec toutes les instances de '%' remplacé par '\x'.
• ${_//+/} remplace toutes les occurrences de '+' à ' '.

Il utilise seulement BASH et de ne pas commencer tout autre processus similaire à l'invité de la réponse.

Script Bash pour le faire en natif Bash (original source):

LANG=C

urlencode() {
    local l=${#1}
    for (( i = 0 ; i < l ; i++ )); do
        local c=${1:i:1}
        case "$c" in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            ' ') printf + ;;
            *) printf '%%%.2X' "'$c"
        esac
    done
}

urldecode() {
    local data=${1//+/ }
    printf '%b' "${data//%/\x}"
}

Si vous voulez urldecode contenu d'un fichier, il suffit de mettre le contenu du fichier comme argument.

Voici un test qui va exécuter arrêter si la décodé le contenu des fichiers codés diffère (si elle tourne pendant quelques secondes, le script fonctionne probablement correctement):

while true
  do cat /dev/urandom | tr -d '
while true
do cat /dev/urandom | tr -d '\0' | head -c1000 > /tmp/tmp;
A="$(cat /tmp/tmp; printf x)"
A=${A%x}
A=$(urlencode "$A")
urldecode "$A" > /tmp/tmp2
cmp /tmp/tmp /tmp/tmp2
if [ $? != 0 ]
then break
fi
done
' | head -c1000 > /tmp/tmp;
     A="$(cat /tmp/tmp; printf x)"
     A=${A%x}
     A=$(urlencode "$A")
     urldecode "$A" > /tmp/tmp2
     cmp /tmp/tmp /tmp/tmp2
     if [ $? != 0 ]
       then break
     fi
done

Comme @barti_ddu dit dans les commentaires, \x "devrait être [double]échappé".

% echo -e "$(echo "Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en" | sed 'y/+//; s/%/\\x/g')"
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en

Plutôt que de mélanger jusqu'Bash et sed, je voudrais faire cela tout en Python. Voici un premier montage de comment:

#!/usr/bin/env python

import glob
import os
import urllib

for logfile in glob.glob(os.path.join('.', '*.log')):
    with open(logfile) as current:
        new_log_filename = logfile + '.new'
        with open(new_log_filename, 'w') as new_log_file:
            for url in current:
                unquoted = urllib.unquote(url.strip())
                new_log_file.write(unquoted + '\n')

Voici une solution qui est fait dans le plus pur bash où l'entrée et la sortie sont variables bash. Il va décoder '+' comme un espace et d'utiliser le '%20' de l'espace, ainsi que d'autres %les caractères encodés.

#!/bin/bash
#here is text that contains both '+' for spaces and a %20
text="hello+space+1%202"
decoded=$(echo -e `echo $text | sed 's/+//g;s/%/\\\\x/g;'`)
echo decoded=$decoded

Mise à jour Jay réponse pour Python 3.5+:

echo "%31+%32%0A%33+%34" | python -c "import sys; from urllib.parse import unquote ; print(unquote(sys.stdin.read()))"

Encore, brendan bash solution avec explication semble plus direct et le plus élégant.

Confronté à un problème similaire, mon idée initiale était d'utiliser urldecode à partir de PHP dans un script permettant de lire stdin ou certains-tel, mais je suis tombée sur cette idée. Toutes les réponses semblent avoir beaucoup de texte, mais pas de réelle solution. L'idée est bonne mais, et c'est incroyablement facile de se mettre au travail:

$ mpc | sed -e '1! d'
http://e.org/play.php?name=/Black%20Sun%20Empire%20-%20Sideways%20%28Feat.%20Illy%20Emcee%29

$ basename "$(echo -e `mpc | sed -e '1! d' -e 's/%/\\\\x/g'`)"
Black Sun Empire - Sideways (Feat. Illy Emcee)

La clé pour faire ce travail est double échappement \x (ce qui a été déjà mentionné).

Une version légèrement modifiée de l'Python réponse qui accepte une entrée et une sortie de fichier en une seule ligne.

cat inputfile.txt | python -c "import sys, urllib as ul; print ul.unquote(sys.stdin.read());" > ouputfile.txt