Grepping des journaux pour des adresses IP

Je suis assez mal à l'aide de "base?" commandes unix et cette question met ma connaissance encore plus à test. Ce que je voudrais faire est de grep toutes les adresses IP à partir d'un journal (p. ex. accès.le log d'apache) et de compter combien de fois ils se produisent. Puis-je le faire avec une seule commande ou dois-je écrire un script pour qui?

InformationsquelleAutor Paul Peelen | 2011-04-20
  1. 13

    Vous aurez besoin d'un court de pipeline au moins.

    sed -e 's/\([0-9]\+\.[0-9]\+\.[0-9]\+\.[0-9]\+\).*$//' -e t -e d access.log | sort | uniq -c

    Qui permet d'imprimer chaque IP (ne fonctionne qu'avec ipv4 bien), triées préfixé avec le comte.

    Je l'ai testé avec apache2 d'accès.journal (c'est configurable, donc vous aurez besoin de vérifier), et il a travaillé pour moi. Il suppose que l'adresse IP est la première chose sur chaque ligne.

    Le sed recueille les adresses IP (en fait, il semble pour 4 séries de chiffres, avec des périodes entre les deux), et remplace l'ensemble de la ligne avec elle. -e t continue à la ligne suivante si elle a réussi à faire une substitution, -e d supprime la ligne (si il n'y a pas d'adresse IP sur elle). sort sortes.. 🙂 Et uniq -c compte des occurrences consécutives de lignes identiques (qui, depuis, nous avons trié, correspond au nombre total).

    InformationsquelleAutor falstro
  2. 3

    Aucune des réponses présentées ici ont travaillé pour moi, alors en voici un qui fonctionne:

    cat yourlogs.txt | grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" | sort | uniq -c | sort

    il utilise grep pour isoler toutes les adresses ip. puis les trie, les compte, et toutes sortes qui entraînent à nouveau.

    InformationsquelleAutor David Nathan
  3. 2

    vous pouvez effectuer les opérations suivantes (où fichier est le nom du fichier journal)

    egrep '[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}' datafile | sort | uniq -c

    edit: raté la partie sur le décompte adresse, maintenant ajouté

    • Cette échoue, egrep permettra d'imprimer l'ensemble de la ligne, y compris l'horodatage, et chaque ligne sera unique, vous avez besoin de l'adresse IP et de supprimer le reste de la ligne (ou dans certains autres cas considérer que l'adresse IP lors de la vérification de l'unicité)
    InformationsquelleAutor Stewart Dale
  4. 0

    egrep '[[:digit:]]{1,3}(.[[:chiffres:]]{1,3}){3}' |awk '{print $1}'|sort|uniq -c

    • Cela pourrait effectivement l'échec, tout comme Dave Tarses points de sort, il va prendre des trucs comme les versions de navigateur qui sont des adresses IP valides. Vous avez besoin de savoir où l'adresse IP est sur la ligne de départ), et seulement de sélectionner les lignes.
    InformationsquelleAutor Snowwolf
  5. 0

    Voici un script que j'ai écrit il y a plusieurs années. Il grep les adresses de apache journaux d'accès. Je l'ai juste essayé sur Ubuntu 11.10 (oneiric) 3.0.0-32-generic #51-Ubuntu SMP Thu Mar 21 15:51:26 UTC 2013 i686 i686 i386 GNU/Linux
    Il fonctionne très bien. Utiliser Gvim ou Vim pour lire le fichier résultant, qui sera appelée à unique_visits, qui liste l'unique ips dans une colonne. La clé, c'est dans les lignes avec grep. Ces expressions de travail pour extraire les numéros d'adresses ip. IPV4 uniquement. Vous pouvez avoir besoin de passer par le navigateur numéros de version. Un autre script que j'ai écrit pour un système Slackware est ici:
    http://www.perpetualpc.net/srtd_bkmrk.html 

    #!/bin/sh
#eliminate search engine referals and zombie hunters. combined_log is the original file
egrep '(google)|(yahoo)|(mamma)|(query)|(msn)|(ask.com)|(search)|(altavista)|(images.google)|(xb1)|(cmd.exe)|(trexmod)|(robots.txt)|(copernic.com)|(POST)' combined_log > search
#now sort them to eliminate duplicates and put them in order
sort -un search > search_sort
#do the same with original file
sort -un combined_log > combined_log_sort
#now get all the ip addresses. only the numbers
grep -o '[0-9][0-9]*[.][0-9][0-9]*[.][0-9][0-9]*[.][0-9][0-9]*' search_sort > search_sort_ip
grep -o '[0-9][0-9]*[.][0-9][0-9]*[.][0-9][0-9]*[.][0-9][0-9]*' combined_log_sort > combined_log_sort_ip
sdiff -s combined_log_sort_ip search_sort_ip > final_result_ip
#get rid of the extra column
grep -o '^\|[0-9][0-9]*[.][0-9][0-9]*[.][0-9][0-9]*[.][0-9][0-9]*' final_result_ip > bookmarked_ip
#remove stuff like browser versions and system versions
egrep -v '(4.4.2.0)|(1.6.3.1)|(0.9.2.1)|(4.0.0.42)|(4.1.8.0)|(1.305.2.109)|(1.305.2.12)|(0.0.43.45)|(5.0.0.0)|(1.6.2.0)|(4.4.5.0)|(1.305.2.137)|(4.3.5.0)|(1.2.0.7)|(4.1.5.0)|(5.0.2.6)|(4.4.9.0)|(6.1.0.1)|(4.4.9.0)|(5.0.8.6)|(5.0.2.4)|(4.4.8.0)|(4.4.6.0)' bookmarked_ip > unique_visits

exit 0
    InformationsquelleAutor Dave Tarsi
  6. -1

    À l'aide de sed:

    $ sed 's/.*\(<regex_for_ip_address>\).*//' <filename> | sort | uniq -c

    Vous pouvez rechercher et trouver des regex disponible pour l'adresse ip sur Internet et de le remplacer avec <regex_for_ip_address>. par exemple, À partir des réponses à une question sur stackoverflow

    • Cela pourrait effectivement l'échec, tout comme Dave Tarses points de sort, il va prendre des trucs comme les versions de navigateur qui sont des adresses IP valides. Vous avez besoin de savoir où l'adresse IP est sur la ligne de départ), et seulement de sélectionner les lignes.
    InformationsquelleAutor sahaj
  7. -1
    cat access.log |egrep -o '[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}\.[[:digit:]]{1,3}' |uniq -c|sort
    InformationsquelleAutor cint