Logstash de ne pas analyser json

Quand je vois les résultats dans Kibana, je vois qu'il n'y a pas de champs de JSON, plus de plus de, message champ contient uniquement des "status" : "FAILED".

Est-il possible d'analyser les champs de json et de les montrer dans Kibana?
J'ai de configuration suivants:

input {
  file {
    type => "json"
    path => "/home/logstash/test.json"
    codec => json
    sincedb_path => "/home/logstash/sincedb"
  }
} 

output {
  stdout {}
  elasticsearch {
    protocol => "http"
    codec => "json"
    host => "elasticsearch.dev"
    port => "9200"
  }
}

Et suivants du fichier JSON:

[{"uid":"441d1d1dd296fe60","name":"test_buylinks","title":"Testbuylinks","time":{"start":1419621623182,"stop":1419621640491,"duration":17309},"severity":"NORMAL","status":"FAILED"},{"uid":"a88c89b377aca0c9","name":"test_buylinks","title":"Testbuylinks","time":{"start":1419621623182,"stop":1419621640634,"duration":17452},"severity":"NORMAL","status":"FAILED"},{"uid":"32c3f8b52386c85c","name":"test_buylinks","title":"Testbuylinks","time":{"start":1419621623185,"stop":1419621640826,"duration":17641},"severity":"NORMAL","status":"FAILED"}]

OriginalL'auteur avasin | 2015-02-26

Oui. vous avez besoin d'ajouter un filtre pour votre config, quelque chose comme ça.

filter{
    json{
        source => "message"
    }
}

Il est décrit assez bien dans les docs ici

MODIFIER
Le json codec ne semble pas comme avoir un tableau passé en. Un seul élément fonctionne avec cette config:

D'entrée:

{"uid":"441d1d1dd296fe60","name":"test_buylinks","title":"Testbuylinks","time":{"start":1419621623182,       "stop":1419621640491,"duration":17309      },      "severity":"NORMAL",      "status":"FAILED"   }

Logstash Résultat:

{
      "message" => "{\"uid\":\"441d1d1dd296fe60\",\"name\":\"test_buylinks\",\"title\":\"Testbuylinks\",\"time\":{\"start\":1419621623182,       \"stop\":1419621640491,\"duration\":17309      },      \"severity\":\"NORMAL\",      \"status\":\"FAILED\"   }",
     "@version" => "1",
   "@timestamp" => "2015-02-26T23:25:12.011Z",
         "host" => "emmet.local",
          "uid" => "441d1d1dd296fe60",
         "name" => "test_buylinks",
        "title" => "Testbuylinks",
         "time" => {
          "start" => 1419621623182,
           "stop" => 1419621640491,
       "duration" => 17309
   },
     "severity" => "NORMAL",
       "status" => "FAILED"

}

Maintenant avec un tableau:

Entrée

[{"uid":"441d1d1dd296fe60","name":"test_buylinks","title":"Testbuylinks","time":{"start":1419621623182,       "stop":1419621640491,"duration":17309      },      "severity":"NORMAL",      "status":"FAILED"   }, {"uid":"441d1d1dd296fe60","name":"test_buylinks","title":"Testbuylinks","time":{"start":1419621623182,       "stop":1419621640491,"duration":17309      },      "severity":"NORMAL",      "status":"FAILED"   }]

Résultat:

Trouble parsing json {:source=>"message", :raw=>"[{\"uid\":\"441d1d1dd296fe60\",\"name\":\"test_buylinks\",\"title\":\"Testbuylinks\",\"time\":{\"start\":1419621623182,       \"stop\":1419621640491,\"duration\":17309      },      \"severity\":\"NORMAL\",      \"status\":\"FAILED\"   }, {\"uid\":\"441d1d1dd296fe60\",\"name\":\"test_buylinks\",\"title\":\"Testbuylinks\",\"time\":{\"start\":1419621623182,       \"stop\":1419621640491,\"duration\":17309      },      \"severity\":\"NORMAL\",      \"status\":\"FAILED\"   }]", :exception=>#<TypeError: can't convert Array into Hash>, :level=>:warn}
{
      "message" => "[{\"uid\":\"441d1d1dd296fe60\",\"name\":\"test_buylinks\",\"title\":\"Testbuylinks\",\"time\":{\"start\":1419621623182,       \"stop\":1419621640491,\"duration\":17309      },      \"severity\":\"NORMAL\",      \"status\":\"FAILED\"   }, {\"uid\":\"441d1d1dd296fe60\",\"name\":\"test_buylinks\",\"title\":\"Testbuylinks\",\"time\":{\"start\":1419621623182,       \"stop\":1419621640491,\"duration\":17309      },      \"severity\":\"NORMAL\",      \"status\":\"FAILED\"   }]",
     "@version" => "1",
   "@timestamp" => "2015-02-26T23:28:21.195Z",
         "host" => "emmet.local",
         "tags" => [
       [0] "_jsonparsefailure"
   ]
}

Cela ressemble à un bug dans le codec, pouvez-vous modifier vos messages à un objet plutôt qu'un tableau?

J'ai lu ce docs, mais le filtre n'a pas aidé. Le résultat est le même. Ce que je comprends, cette définition dit: message contient JSON valide objet que vous pouvez utiliser comme hachage. C'est agréable. Mais de toute façon, je ne vois toujours pas JSON valide dans le message. Seulement des pièces.
Je pense que le problème pourrait être que votre message est un tableau et le json codec attend un objet à la racine
wow, peut-être nous pouvons signaler ce un bug... de toute façon, vous aviez raison - filter est une solution. github.com/elasticsearch/logstash/issues/2702
Semble qu'ils en sont conscients, à partir de la source code: # TODO(sissel): Remarque, cela ne va pas réussir à gérer json listes # comme votre texte est " [ 1,2,3 ]' JSON.analyser vous donne un tableau (correctement) # qui n'est pas le fusionner dans une table de hachage. Si quelqu'un a besoin de cela, nous pouvons le réparer # plus tard.
pas de soucis, heureux de vous aider

OriginalL'auteur stringy05

2

Essayer le json_lines codec au lieu de json. Cela doit avoir été ajouté récemment. Dans votre cas particulier, vous aimerais tout d'abord souhaitez modifier votre sortie à partir d'une liste de json de retour à la ligne délimitée par json.

http://logstash.net/docs/1.4.0/codecs/json_lines

Ce codec de décodage en streaming JSON qui est de retour à la ligne délimitée. Pour
décodage JSON de la charge utile dans le redis entrée par exemple, utiliser le json
codec à la place. L'encodage va émettre une seule chaîne JSON se terminant par un
'\n'

OriginalL'auteur Banjer
2

Lecture dans un fichier contenant un tableau JSON est beaucoup plus difficile qu'elle ne devrait l'être. Ci-dessous est un travail de configuration de pipeline
```
input {
  exec {
    command => "cat /path/file_containing_json_array.txt"
    codec => "json"
    interval => 3600
  }
}

output {
  stdout {
    codec => rubydebug
  }
}
```
OriginalL'auteur Nathan Reese

Vous devez vous connecter pour publier un commentaire.