Analyser les journaux d'erreurs Apache2 avec Grok pour Logstash

Im essayant d'analyser mon apache2 journal des erreurs et je vais avoir un peu de mal.. Il ne semble pas y avoir correspondant au filtre. Im assez sûr que le timestamp de la pièce est mauvaise, mais je ne suis pas sûr, et je ne peux pas vraiment trouver toute la documentation pour comprendre. Aussi, est-il un moyen pour obtenir ce qui est dans fields.errmsg pour moi @message?

Journal

[Wed Jun 26 22:13:22 2013] [error] [client 10.10.10.100] PHP Fatal error:  Uncaught exception '\Foo\Bar'

Expéditeur Config

input {
        file {
                'path' => '/var/log/apache2/*-error.log'
                'type' => 'apache-error'
        }

}

filter {
        grok {
                type => "apache-error"
                pattern => "\[%{HTTPDATE:timestamp}\] \[%{WORD:class}\] \[%{WORD:originator} %{IP:clientip}\] %{GREEDYDATA:errmsg}"
        }
}


output {
        stdout {}
        redis {
                'data_type' => 'list'
                'host' => 'logstash.server.net'
                'key' => 'logstash'
        }
}

source d'informationauteur Ascherer

Ahoy!

Je sais que je suis un peu en retard à la fête, mais ici il va!

J'ai créé un /etc/logstash/patterns.d/ répertoire sur le système et ce un fichier nommé apache-error en contenant:

APACHE_ERROR_TIME %{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR}
APACHE_ERROR_LOG \[%{APACHE_ERROR_TIME:timestamp}\] \[%{LOGLEVEL:loglevel}\] (?:\[client %{IPORHOST:clientip}\] ){0,1}%{GREEDYDATA:errormsg}

/etc/logstash/patterns.d/ sera référencée dans le logstash de configuration comme suit:

grok {
  patterns_dir => [ "/etc/logstash/patterns.d" ]
  match => [ "message", "%{APACHE_ERROR_LOG}" ]
}

Vous pouvez le tester à Grok Débogueurcomme Adam l'a mentionné dans son commentaire. Semble fonctionner très bien avec l'échantillon d'entrée de journal que vous envoyez. A travaillé très solidement moi avec un de mes clients.

Le schéma ci-dessus met le message final dans errormsg champ. Je viens donc de supprimer la message champ.

C'est ce que j'utilise actuellement dans mon logstash configuration:

filter {
  if [type] == "apache_error_log" {

    grok {
      patterns_dir => [ "/etc/logstash/patterns.d" ]
      match => [ "message", "%{APACHE_ERROR_LOG}" ]
    }

    if !("_grokparsefailure" in [tags]) {

      mutate {
        remove_field => [ "message" ]
        add_field =>  ["timestamp_submitted", "%{@timestamp}"]
      }

      date {
        # Try to pull the timestamp from the 'timestamp' field (parsed above with
        # grok). The apache time format looks like: "18/Aug/2011:05:44:34 -0700"
        #                        Sat Feb 08 06:31:09 2014
        match => [ "timestamp", "EEE MMM dd HH:mm:ss yyyy" ]
        remove_field => [ "timestamp" ]
      }

      geoip {
        source => "clientip"
      }
    }
  }
}

Remarque que je suis en utilisant un type de apache_error_log au lieu de apache-error.

Donner il s tir. J'aimerais savoir si cela fonctionne pour vous et les autres!

Cheers!

Nos journaux d'erreur de regarder d'un peu différent:

[Tue Dec 08 12:30:35.997887 2015] [ssl:info] [pid 1178:tid 1072] (70014)End of file found: [client 10.129.24.77:49987] AH01991: SSL input filter read failed.

Mais j'ai trouvé un schéma prédéfini qui fonctionne parfaitement:

HTTPD24_ERRORLOG

Voir dans la Logstash source

2

Logstash est doté d'un analyseur de log apache.

Voici un exemple...
```
grok {
   type    => 'company'
   pattern => ["%{COMBINEDAPACHELOG}"]
   add_tag => "apache"
}
```
Comme référence, vous pouvez vérifier Logstash est docs
2

Ne fonctionne pas pour moi:
```
EEE MMM dd HH:mm:ss yyyy
```
A fonctionné pour moi (Apache 2.4):
```
EEE MMM dd HH:mm:ss.SSSSSS yyyy
```

Vous devez vous connecter pour publier un commentaire.