regex pour journal d'accès dans la ruche serde

Je veux extraire (ip, requestUrl, timeStamp) à partir des journaux d'accès de charge à la ruche de la base de données. Une ligne de log d'accès est comme suit.


66.249.68.6 - - [14/Jan/2012:06:25:03 -0800] "GET /example.com HTTP/1.1" 200 708 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

J'ai essayé avec la suite et de nombreuses variations de regex, sans succès. (Le chargement de la table est avec toutes les valeurs NULL indiquant la regex ne correspond pas à l'entrée).


CREATE TABLE access_log (
  remote_ip STRING,
  request_date STRING,
  method STRING,
  request STRING,
  protocol STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES  (
"input.regex" = "([^ ]) . . [([^]]+)] \"([^ ]) ([^ ]) ([^ \"])\" *",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s"
)
STORED AS TEXTFILE;

Je ne suis pas très expérimenté, avec des regex. Quelqu'un peut-il m'aider?

InformationsquelleAutor chamibuddhika | 2012-02-01

hive regex

- Je utiliser rubular pour tester ma regex.
Vous pouvez également utiliser cette expression

([^ ]*) ([^ ]*) ([^ ]*) (?:-|\[([^\]]*)\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*)

Vous obtenez le résultat suivant

1.  66.249.68.6
2.  -
3.  -
4.  14/Jan/2012:06:25:03 -0800
5.  "GET /example.com HTTP/1.1"
6.  200

InformationsquelleAutor surajz

11

Double '\' et '.*' à la fin (c'est important!):
```
CREATE EXTERNAL TABLE access_log (
        `ip`                STRING,
        `time_local`        STRING,
        `method`            STRING,
        `uri`               STRING,
        `protocol`          STRING,
        `status`            STRING,
        `bytes_sent`        STRING,
        `referer`           STRING,
        `useragent`         STRING
        )
    ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
    WITH SERDEPROPERTIES (
    'input.regex'='^(\\S+) \\S+ \\S+ \\[([^\\[]+)\\] "(\\w+) (\\S+) (\\S+)" (\\d+) (\\d+) "([^"]+)" "([^"]+)".*'
)
STORED AS TEXTFILE
LOCATION '/tmp/access_logs/';
```
P. S. Ruche 0.7.1
- Pouvez-vous expliquer la raison de 'double '\' et '.*' dans la fin '
- C'est beaucoup plus importante que l'on a obtenu un crédit pour. Le \\ est nécessaire parce que la regex est à l'intérieur d'une chaîne qui fait partie d'une requête SQL... donc, afin d'obtenir un \S, vous devez taper \\S de sorte que vous obtenez une réelle (c'est à dire échappé) barre oblique inverse dans le cadre de la commande. \\S+ " permet de rechercher un ou plusieurs non-blanc de la station. \S* est juste essayer de correspondre à 0 ou plusieurs majuscules S caractères.
- L' .* à la fin, c'est juste pour le nettoyage, dans le cas où vous avez manqué quelque chose avec votre correspondance des groupes.
- Le double \ sauvé ma journée. Merci beaucoup.
- Je souhaite la Ruche, AWS Athéna et d'autres docs comprendrait cet exemple.
InformationsquelleAutor agorokhov
1

Pas infaillible, mais étant donné que c'est un fichier journal dans un format connu alors la suivante devrait fonctionner (non testé dans la Ruche, mais fonctionne avec grep -E et avec http://www.regexplanet.com/simple/index.html si vous remplacez [^[] avec [^\[] et [^]] avec [^\]]). Suppose que vous ne voulez les trois valeurs qui vous sont spécifiquement mentionnés.
```
"input.regex" = "([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)[^[]+\[([^]]+)\][^/]+([^ ]+).+"
"output.format.string" = "%1$s %2$s %3$s"
```
InformationsquelleAutor IBBoard

Vous devez vous connecter pour publier un commentaire.