grepping fichiers binaires et UTF16

Le moyen le plus facile est de simplement convertir le fichier texte en utf-8 et le tuyau de grep:

iconv -f utf-16 -t utf-8 file.txt | grep query

J'ai essayé de faire le contraire (convertir ma requête de l'utf-16), mais il semble que grep n'aime pas cela. Je pense qu'il pourrait avoir à faire avec l'endianness, mais je ne suis pas sûr.

Il semble que grep va convertir une requête qui est de l'utf-16 pour de l'utf-8/ascii. Voici ce que j'ai essayé:

grep `echo -n query | iconv -f utf-8 -t utf-16 | sed 's/..//'` test.txt

Si test.txt est utf-16 fichier cela ne fonctionne pas, mais il fonctionne si test.txt ascii. Je ne peux que conclure que la commande grep est la conversion de ma requête à l'ascii.

EDIT: Ici est vraiment fou de ce genre de travaux, mais ne vous donne pas beaucoup d'informations utiles:

hexdump -e '/1 "%02x"' test.txt | grep -P `echo -n Test | iconv -f utf-8 -t utf-16 | sed 's/..//' | hexdump -e '/1 "%02x"'`

Comment ça fonctionne? Eh bien, il convertit votre fichier hex (sans supplément de mise en forme que hexdump s'applique habituellement). Il les tuyaux que dans grep. Grep est à l'aide d'une requête qui est construit en se faisant l'écho de votre requête (sans saut de ligne) en fonction iconv qui la convertit en utf-16. C'est ensuite canalisé dans sed pour supprimer la NOMENCLATURE (les deux premiers octets de l'utf-16 fichier utilisé pour déterminer l'endianness). C'est ensuite canalisé dans hexdump de sorte que la requête et l'entrée sont les mêmes.

Malheureusement, je pense que ce sera à la fin de l'impression de l'ENSEMBLE du fichier si il y a un seul match. Aussi cela ne fonctionnera pas si l'utf-16 dans votre fichier binaire est stocké dans un autre boutisme de votre machine.

EDIT2: je l'Ai!!!!

grep -P `echo -n "Test" | iconv -f utf-8 -t utf-16 | sed 's/..//' | hexdump -e '/1 "x%02x"' | sed 's/x/\\\\x/g'` test.txt

Cette recherche la version hexadécimale du code de la chaîne Test (en utf-16) dans le fichier test.txt

J'ai trouvé ci-dessous la solution qui a le mieux fonctionné pour moi, à partir de https://www.splitbits.com/2015/11/11/tip-grep-and-unicode/

Grep ne joue pas bien avec l'Unicode, mais il peut être contourné. Par exemple, pour trouver,

Some Search Term

en UTF-16 fichier, utiliser une expression régulière pour ignorer le premier octet de chaque personnage,

S.o.m.e. .S.e.a.r.c.h. .T.e.r.m 

Aussi, dites grep pour traiter le fichier en tant que texte, à l'aide de "- a", le final de la commande ressemble à ceci,

grep -a 'S.o.m.e. .S.e.a.r.c.h. .T.e.r.m' utf-16-file.txt

J'avais besoin de faire cela de façon récursive, et voici ce que j'ai trouvé:

find -type f | while read l; do iconv -s -f utf-16le -t utf-8 "$l" | nl -s "$l: " | cut -c7- | grep 'somestring'; done

C'est absolument horrible et très lent; j'en suis certain, il y a une meilleure façon et j'espère que quelqu'un peut l'améliorer, mais j'étais pressé 😛

Ce que les morceaux ne:

find -type f

donne récursive liste de noms de fichier avec des chemins relatifs à courant

while read l; do ... done

Boucle en Bash; pour chaque ligne de la liste des chemins d'accès aux fichiers, mettre le chemin en $l et de faire la chose dans la boucle. (Pourquoi j'ai utilisé une boucle shell au lieu de xargs, ce qui aurait été beaucoup plus rapide: j'ai besoin de préfixer chaque ligne de la sortie avec le nom du fichier en cours. Ne pouvais pas penser à une façon de le faire que si j'étais en train de nourrir plusieurs fichiers à la fois à iconv, et depuis que je vais faire un fichier à la fois, de toute façon, boucle shell est plus facile de syntaxe/s'échapper.)

iconv -s -f utf-16le -t utf-8 "$l"

Convertir le fichier nommé dans $l: supposons que le fichier d'entrée est de l'utf-16 little-endian et le convertir en utf-8. Le -s fait iconv se taire à propos de la conversion des erreurs (il y en aura beaucoup, parce que certains fichiers de cette structure de répertoire sont pas en utf-16). La sortie de cette conversion va vers stdout.

nl -s "$l: " | cut -c7-

C'est un hack: nl insère les numéros de ligne, mais il arrive à avoir une "utiliser cette chaîne de caractères arbitraire de séparer le numéro de la ligne" paramètre, donc j'ai mis le nom de fichier (suivi du côlon et de l'espace) dans que. Puis-je utiliser cut d'enlever le numéro de la ligne, en laissant seulement le préfixe de nom de fichier. (Pourquoi je n'ai pas utilisé sed: l'échappement est beaucoup plus facile de cette façon. Si j'ai utilisé une expression sed, j'ai à vous soucier de là l'expression régulière caractères dans les noms de fichiers, ce qui dans mon cas il y avait beaucoup de. nl est beaucoup plus bête que sed, et il suffit de prendre le paramètre -s entièrement littéralement, et le shell gère l'échappement pour moi.)

Donc, d'ici à la fin de ce pipeline, j'ai converti un tas de fichiers dans les lignes de l'utf-8, avec le préfixe du nom de fichier, que j'ai ensuite grep. Si il y a des matchs, je peux dire quel fichier ils sont dans le préfixe.

Mises en garde

• C'est beaucoup, beaucoup plus lent que grep -R, parce que je suis frai une nouvelle copie de iconv, nl, cut, et grep pour chaque fichier. C'est horrible.
• Tout ce qui n'est pas de l'utf-16le d'entrée va sortir comme les déchets complets, donc si il y a une normale fichier ASCII qui contient 'somestring', cette commande ne pas le signaler -- vous avez besoin de faire une activité normale grep -R ainsi que cette commande (et si vous avez plusieurs types de codage unicode, comme certains le big-endian et certaines little-endian fichiers, vous devez régler cette commande et l'exécuter à nouveau pour chaque codage différent).
• Les fichiers dont le nom contient 'somestring" s'affichera dans la sortie, même si leur contenu n'avons pas les matchs.

Le sed déclaration est plus que je peux envelopper ma tête autour de. J'ai un simpliste, loin-de-parfait script TCL qui, je pense, fait un OK de travail avec mon point de test d'un:

#!/usr/bin/tclsh

set insearch [lindex $argv 0]

set search ""

for {set i 0} {$i<[string length $insearch]-1} {incr i} {
    set search "${search}[string range $insearch $i $i]."
}
set search "${search}[string range $insearch $i $i]"

for {set i 1} {$i<$argc} {incr i} {
    set file [lindex $argv $i]
    set status 0
    if {! [catch {exec grep -a $search $file} results options]} {
        puts "$file: $results"
    }
}

Vous pouvez utiliser les éléments suivants Ruby one-liner:

ruby -e "puts File.open('file.txt', mode:'rb:BOM|UTF-16LE').readlines.grep(Regexp.new 'PATTERN'.encode(Encoding::UTF_16LE))"

---

Pour des raisons de simplicité, il peut être défini comme la fonction shell comme:

grep-utf16() { ruby -e "puts File.open('$2', mode:'rb:BOM|UTF-16LE').readlines.grep(Regexp.new '$1'.encode(Encoding::UTF_16LE))"; }

Alors il être utilisé de la même façon que grep:

grep-utf16 PATTERN file.txt

Source: Comment utiliser Ruby readlines.grep pour l'UTF-16 fichiers?