Exécuter des requêtes hive, et de recueillir des renseignements sur l'emploi

Je voudrais exécuter une liste de généré des requêtes HIVE.
Pour chacun, je voudrais récupérer le M. job_id (ou id, dans le cas de plusieurs étapes).
Et puis, avec cette job_id, de recueillir des statistiques de tracker d'emploi (cumul de la CPU, de lire des octets...)

Comment puis-je envoyer des requêtes HIVE à partir d'un bash ou python script, et de récupérer le job_id(s) ?

Pour la 2ème partie (la collecte de statistiques pour l'emploi), nous sommes à l'aide d'un MRv1 cluster Hadoop, donc je n'ai pas le AppMaster API REST. Je suis sur le point de recueillir des données à partir du jobtracker d'une INTERFACE web. Une meilleure idée ?

InformationsquelleAutor mathieu | 2013-01-30
  1. 3

    vous pouvez obtenir la liste des travaux exécutés par l'exécution de cette commande,

    de travail hadoop -liste de tous les

    puis pour chaque job-id, vous pouvez récupérer les stats, l'aide de la commande
    hadoop emploi statut de l'emploi-id

    Et pour associer les travaux avec une requête, vous pouvez obtenir le job_name et correspond à la requête.
    quelque chose comme ceci,
    Comment obtenir des noms de la cours d'exécution hadoop emplois?

    espère que cette aide.

    • Le hadoop script a été dépréciée en faveur de mapred il est donc préférable d'utiliser la commande suivante maintenant. $ mapred job -status job-id
    InformationsquelleAutor gsps