Un moyen facile de diff fichiers journaux, en ignorant le temps de timbres?

J'ai besoin de diff deux fichiers journaux mais ignorer l'horodatage partie de chaque ligne (les 12 premiers caractères pour être exact). Est-il un bon outil, ou un savant commande awk, qui pourrait m'aider?

InformationsquelleAutor Teflon Ted | 2008-09-04
  1. 43

    Selon le shell que vous utilisez, vous pouvez transformer l'approche @Blair suggéré dans un 1-liner

    diff <(cut -b13- file1) <(cut -b13- file2)

    (+1 à @Blair pour la suggestion 🙂

    InformationsquelleAutor toolkit
  2. 19

    @EbGreen dit

    Je voudrais juste prendre les fichiers journaux et de dépouiller les horodatages le départ de chaque ligne puis enregistrez le fichier dans différents fichiers. Alors diff de ces fichiers.

    C'est probablement le meilleur pari, à moins que votre outil de comparaison a des pouvoirs spéciaux.
    Par exemple, vous pouvez

    cut -b13- file1 > trimmed_file1
cut -b13- file2 > trimmed_file2
diff trimmed_file1 trimmed_file2

    Voir @trousse à outils de réponse pour une optimisation qui en fait un one-liner et élimine la nécessité pour les fichiers supplémentaires. Si votre shell prend en charge. Bash 3.2.39 semble au moins...

    • Si quelqu'un horodateurs ont également une date au format ISO, puis utilisez -b25-
    InformationsquelleAutor Blair Conrad
  3. 9

    Réponses à l'aide de cut sont bien, mais parfois en gardant les horodatages dans le diff de sortie est appréciable. Comme l'OP question est à propos de en ignorant le temps de timbres (ne pas enlever), je partage ici mes délicate ligne de commande:

    diff -I '^#' <(sed -r 's/^((.){12})/#\n/' 1.log) <(sed -r 's/^((.){12})/#\n/' 2.log)
    • sed isole les horodateurs (# avant et \n après) à l'intérieur d'un processus de substitution
    • diff -I '^#' ignore les lignes de ces dates (les lignes commençant par #)

    exemple

    Deux fichiers journaux ayant le même contenu, mais différents horodateurs:

    $> for ((i=1;i<11;i++)) do echo "09:0${i::1}:00.000 data $i"; done > 1.log
$> for ((i=1;i<11;i++)) do echo "11:00:0${i::1}.000 data $i"; done > 2.log

    De base diff ligne de commande, explique que toutes les lignes sont différentes:

    $> diff 1.log 2.log
1,10c1,10
< 09:01:00.000 data 1
< 09:02:00.000 data 2
< 09:03:00.000 data 3
< 09:04:00.000 data 4
< 09:05:00.000 data 5
< 09:06:00.000 data 6
< 09:07:00.000 data 7
< 09:08:00.000 data 8
< 09:09:00.000 data 9
< 09:01:00.000 data 10
---
> 11:00:01.000 data 1
> 11:00:02.000 data 2
> 11:00:03.000 data 3
> 11:00:04.000 data 4
> 11:00:05.000 data 5
> 11:00:06.000 data 6
> 11:00:07.000 data 7
> 11:00:08.000 data 8
> 11:00:09.000 data 9
> 11:00:01.000 data 10

    Notre délicate diff -I '^#' n'affiche aucune différence (horodateurs ignoré):

    $> diff -I '^#' <(sed -r 's/^((.){12})/#\n/' 1.log) <(sed -r 's/^((.){12})/#\n/' 2.log)
$>

    Changement 2.log (remplacer data par foo sur la ligne 6) et vérifier de nouveau:

    $> sed '6s/data/foo/' -i 2.log
$> diff -I '^#' <(sed -r 's/^((.){12})/#\n/' 1.log) <(sed -r 's/^((.){12})/#\n/' 2.log)
11,13c11,13
11,13c11,13
< #09:06:00.000
<  data 6
< #09:07:00.000
---
> #11:00:06.000
>  foo 6
> #11:00:07.000

    => horodateurs sont conservés dans le diffsortie!

    Vous pouvez également utiliser le côté par côté fonctionnalité à l'aide d' -y ou --side-by-side option:

    $> diff -y -I '^#' <(sed -r 's/^((.){12})/#\n/' 1.log) <(sed -r 's/^((.){12})/#\n/' 2.log)
#09:01:00.000                   #11:00:01.000
 data 1                          data 1
#09:02:00.000                   #11:00:02.000
 data 2                          data 2
#09:03:00.000                   #11:00:03.000
 data 3                          data 3
#09:04:00.000                   #11:00:04.000
 data 4                          data 4
#09:05:00.000                   #11:00:05.000
 data 5                          data 5
#09:06:00.000                 | #11:00:06.000
 data 6                       |  foo 6
#09:07:00.000                 | #11:00:07.000
 data 7                          data 7
#09:08:00.000                   #11:00:08.000
 data 8                          data 8
#09:09:00.000                   #11:00:09.000
 data 9                          data 9
#09:01:00.000                   #11:00:01.000
 data 10                         data 10

    vieux sed

    Si votre sed mise en œuvre ne prend pas en charge la -r option, vous pouvez avoir à compter de la période de douze points <(sed 's/^\(............\)/#\1\n/' 1.log) ou utiliser un autre modèle de votre choix 😉

    • Merci pour votre solution ingénieuse, cela m'a sauvé des heures à essayer de le faire dans awk (et je serais probablement besoin de passer à perl pour garder ma santé mentale).
    InformationsquelleAutor olibre
  4. 3

    Pour une option graphique, Meld pouvez le faire à l'aide de son filtres de texte fonctionnalité.

    Il permet d'ignorer les lignes en fonction de un ou plusieurs python regex. Les différences apparaissent encore, mais les lignes qui n'ont pas de toutes les autres différences ne seront pas mis en évidence.

    Un moyen facile de diff fichiers journaux, en ignorant le temps de timbres?

    InformationsquelleAutor Dave Andersen
  5. 2

    Utilisation Kdiff3 et à Configure>Diff modifier "Ligne de Correspondance de commande du Préprocesseur" à quelque chose comme:

    sed "s/[ 012][0-9]:[0-5][0-9]:[0-5][0-9]//"

    Cela va filtrer les temps-les timbres de la comparaison de l'alignement de l'algorithme.

    Kdiff3 vous permet également de aligner manuellement des lignes spécifiques.

    • Les fichiers sont toujours marqués comme différent sur chaque ligne, mais il me permet de faire une recherche de vraies différences à l'aide de la commande Passer à la Suivante / Précédente Delta.
    • Et de le faire directement à partir de la ligne de commande: kdiff3 --cs LineMatchingPreProcessorCmd="sed \"s/[ 012][0-9]:[0-5][0-9]:[0-5][0-9]//\"" "/path/to/file 1.txt" "/path/to/file 2.txt"
    InformationsquelleAutor Pedro Reis