Logstash Grok Filtre Apache Log D'Accès

J'ai été en regardant autour ici et là, mais ne pouvait pas trouver la solution de travail. J'essaie d'utiliser Grok Filtre à l'intérieur de la Logstash fichier de configuration de filtre Apache-fichier journal des Accès. Le message du journal ressemble à ceci: {"message":"00.00.0.000 - - [dd/mm/YYYY:hh:mm:ii +0000] \"GET /index.html HTTP/1.1\" 200 00"}.

Sur ce moment, je ne pouvais que le filtre de l'ip du client en utilisant grok { match => [ "message", "%{IP:client_ip}" ] }.

Je veux filtre:

- The GET method, 
- requested page (index.html), 
- HTTP/1.1\, 
- server response 200
- the last number 00 after 200 inside the message body

Veuillez noter qu'aucun de ces derniers ne fonctionne pas pour moi :

grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }

grok { match => [ "message", "%{COMBINEDAPACHELOG}" ] }

Pouvez-vous fournir l'original du journal? N'est pas l'original de votre journal est {"message":"00.00.0.000 - - [jj/mm/AAAA hh:mm:ii +0000] \"GET /index.html HTTP/1.1\" 200 00"}.
Lim, j'ai maintenant trouvé la solution. Merci!

InformationsquelleAutor O Connor | 2014-03-11

18

Utiliser le Grok Débogueur pour obtenir une correspondance exacte à votre format de journal. C'est le seul moyen.

http://grokdebug.herokuapp.com/

InformationsquelleAutor Garreth McDaid
18
```
grok {
  match => [ "message", "%{IP:client_ip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:apache_timestamp}\] \"%{WORD:method} /%{NOTSPACE:request_page} HTTP/%{NUMBER:http_version}\" %{NUMBER:server_response} " ]
}
```
- # Log formats SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}: COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent} Source - https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
InformationsquelleAutor O Connor

Vous pouvez utiliser COMBINEDAPACHELOG motif pour cela,

%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent}

par exemple, considérons cet exemple de log d'apache

111.222.333.123 MAISON - [01/Février/1998:01:08:46 -0800] "GET /bannerad/ad.htm HTTP/1.0" 200 28083
"http://www.referrer.com/bannerad/ba_intro.htm" "Mozilla/4.01
(Macintosh; I; PPC)"

ci-dessus, le filtre produire,

{
  "clientip": [
    [
      "111.222.333.123"
    ]
  ],
  "HOSTNAME": [
    [
      "111.222.333.123"
    ]
  ],
  "IP": [
    [
      null
    ]
  ],
  "IPV6": [
    [
      null
    ]
  ],
  "IPV4": [
    [
      null
    ]
  ],
  "ident": [
    [
      "HOME"
    ]
  ],
  "USERNAME": [
    [
      "HOME",
      "-"
    ]
  ],
  "auth": [
    [
      "-"
    ]
  ],
  "timestamp": [
    [
      "01/Feb/1998:01:08:46 -0800"
    ]
  ],
  "MONTHDAY": [
    [
      "01"
    ]
  ],
  "MONTH": [
    [
      "Feb"
    ]
  ],
  "YEAR": [
    [
      "1998"
    ]
  ],
  "TIME": [
    [
      "01:08:46"
    ]
  ],
  "HOUR": [
    [
      "01"
    ]
  ],
  "MINUTE": [
    [
      "08"
    ]
  ],
  "SECOND": [
    [
      "46"
    ]
  ],
  "INT": [
    [
      "-0800"
    ]
  ],
  "verb": [
    [
      "GET"
    ]
  ],
  "request": [
    [
      "/bannerad/ad.htm"
    ]
  ],
  "httpversion": [
    [
      "1.0"
    ]
  ],
  "BASE10NUM": [
    [
      "1.0",
      "200",
      "28083"
    ]
  ],
  "rawrequest": [
    [
      null
    ]
  ],
  "response": [
    [
      "200"
    ]
  ],
  "bytes": [
    [
      "28083"
    ]
  ],
  "referrer": [
    [
      ""http://www.referrer.com/bannerad/ba_intro.htm""
    ]
  ],
  "QUOTEDSTRING": [
    [
      ""http://www.referrer.com/bannerad/ba_intro.htm"",
      ""Mozilla/4.01 (Macintosh; I; PPC)""
    ]
  ],
  "agent": [
    [
      ""Mozilla/4.01 (Macintosh; I; PPC)""
    ]
  ]
}

peut être testé ici,

https://grokdebug.herokuapp.com/

InformationsquelleAutor Sufiyan Ghori

0

Utiliser les éléments suivants:
```
filter {
    grok {
            match => { "message" => "%{COMMONAPACHELOG}" }
    }
}
```
Comme vous pouvez le voir à partir de votre modèle COMBINEDAPACHELOG échoue parce qu'il manque des composants:
```
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}
```
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns

InformationsquelleAutor Costin Aldea

Vous devez vous connecter pour publier un commentaire.