Oozie flux de travail: tableau de la Ruche pas trouvé, mais il n'existe pas

J'ai eu un oozie flux de travail, en cours d'exécution sur un CDH4 cluster de 4 machines (un maître-de-tout, trois "muet" travailleurs). La ruche metastore s'exécute sur le maître de l'utilisation de mysql (pilote est présent), le oozie serveur s'exécute également sur la maîtrise de l'utilisation de mysql, trop. À l'aide de l'interface web que je peux importer et de la requête de la ruche comme prévu, mais quand je fais les mêmes requêtes au sein d'une oozie flux de travail qu'il échoue. Même l'ajout de la "SI elle EXISTE" conduit à l'erreur ci-dessous. J'ai essayé d'ajouter les informations de connexion en tant que propriétés de la ruche d'emploi sans succès.

Quelqu'un peut-il me donner un indice? Ai-je raté quelque chose? Toute autre information nécessaire?

C'est la sortie de l'emploi du journal:

  Script [drop.sql] content:
  ------------------------
  DROP TABLE IF EXISTS performance_log;

  ------------------------

  Hive command arguments :
  -f
  drop.sql

  =================================================================

  >>> Invoking Hive command line now >>>

  Intercepting System.exit(10001)

  <<< Invocation of Main class completed <<<

  Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10001]

  Oozie Launcher failed, finishing Hadoop job gracefully

Et c'est le message d'erreur:

  FAILED: SemanticException [Error 10001]: Table not found performance_log
  Intercepting System.exit(10001)
  Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10001]
InformationsquelleAutor Mario Mueller | 2013-04-01
  1. 12

    Le problème, c'est les autres nœuds ne sais pas d'où MYSQL est , de sorte que vous obtenez l'erreur de table pas trouvé.

    Que vous devez faire 2 choses

    1. Copie hive-site.xml dans le oozie workflow répertoire
    2. Dans votre Ruche action dites oozie que l'utilisation de mon hive-site.xml

    Quelque chose comme ci-dessous

    action name="hive-node">
    <hive xmlns="uri:oozie:hive-action:0.2">
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <job-xml>hive-site.xml</job-xml>

    Cela devrait fonctionner.

    Grâce

    • Fonctionne comme un charme. Merci!
    • Si vous êtes dans la teinte, n'oubliez pas de faire ça dans les propriétés de flux de travail de sorte qu'il sera appliqué à l'ensemble de la ruche nœuds/étapes du flux de production.
    • C'est la solution idéale basée sur ce que Oozie est actuellement. Honnêtement, nous avons besoin d'un moyen pour oozie de choisir à partir d'un emplacement centralisé plutôt que de copier à oozie répertoire de travail dans HDFS nous-mêmes. Après tout, pour chaque changement dans la hive-site.xml nous devons faire le remplacement, dans tous les Oozie répertoire de travail. Erreur/incohérence sujettes à mon avis.
    InformationsquelleAutor user2230605
  2. 0

    J'ai connu le même problème, hormis au-dessus de la mention de la solution sur la spécification hive-site.xml correctement. Je recommande choses suivantes en tant que bien.

    1. vérifier si vous avez mysql connector pot (dans le cas où vous êtes en utilisant mysql comme metastore) est disponible dans le classpath.
    2. en cas de oozie ruche des actions de vérifier si vous n'êtes pas en ajoutant de la ruche pots à plusieurs reprises. par exemple, il est déjà présent dans oozie partager lib et vous avez également copiés dans le workflow/lib
    InformationsquelleAutor Abhishek Gayakwad