Récupérer Hadoop NameNode Échec

Scénario 1:

Le HDFS fsimage et editlog est écrit en plusieurs endroits, y compris un montage NFS.

A) NameNode Démon Crash :
Solution:
Suffit de redémarrer le Namenode processus

B) de l'Hôte est en Bas où le Nom de Nœud est en cours d'exécution.

Solution:

  1. Démarrer le namenode dans un autre hôte, avec un vide de dfs.nom.dir
  2. Point de la dfs.nom.dir pour le montage NFS où nous avons copie de la meta-données.
    OU
  3. Utilisation --importCheckpoint option lors du démarrage du namenode après avoir rappelé fs.point de contrôle.dir de point de contrôle de l'annuaire à partir du NameNode Secondaire
  4. Modifier la fs.par défaut.nom de la sauvegarde de l'hôte nom de l'URI et de redémarrer le cluster avec tous les esclaves de la propriété intellectuelle dans les esclaves de fichier.

Note - Nous avons peut-être raté l'édition qui a pu se passer après le dernier point de contrôle.

Scénario 2:

Le HDFS fsimage est écrit dans un seul répertoire.

A ) NameNode Démon Crash:
Solution : Inconnu

B ) de l'Hôte est en bas où le Nom de Nœud est en cours d'exécution.

Solution:

  1. Créer un nouveau répertoire pointant vers dfs.nom.dir répertoire dans (1)
  2. Démarrer le Namenode avec -importCheckpoint après avoir rappelé fs.point de contrôle.dir de point de contrôle de l'annuaire à partir du NameNode Secondaire
  3. Modifier la fs.par défaut.nom de la sauvegarde de l'hôte nom de l'URI et de redémarrer le cluster avec tous les esclaves de la propriété intellectuelle dans les esclaves de fichier.

De cette façon, nous allions manquer de nouveau les fichiers modifiés après le dernier point de contrôle.

S'il vous plaît laissez-moi savoir si cela est de savoir comment nous pouvons récupérer manuellement le cluster.

Pouvez-vous éditer votre post pour y inclure une question s'il vous plaît? Je ne suis pas sûr de ce que vous demandez. Il serait également utile de poster un log fichier extrait de la si vous en avez. Il va m'aider à diagnostiquer vos problèmes. Merci
Je donne une partie de la production scénario. Que faire dans le cas du Scénario 1 et le Scénario 2. Afin d'obtenir les différentes techniques de récupération de Namenode
changé la question maintenant
pouvez-vous me dire en deuxième scneario cas, le redémarrage de namenode comme dans le scénario 1 ne va pas résoudre le problème?
pouvez vous s'il vous plaît coller votre StackTrace trop. Je pense que c'est la solution pour moi aussi.

OriginalL'auteur Jagaran | 2012-03-15

  1. 1

    En production, vous devez exécuter le NameNodes en HA mode de fonctionnement avec une le quorum de la journalisation des nœuds, ou partagé HA-stockage NFS pour l'édition du journal de fichiers de transaction. Si vous ne voulez pas ou l'utilisation HA, vous devez exécuter le NN avec au moins deux répertoires de stockage pour les images et modifier les journaux, avec de préférence un comme un doux monté en NFS point de montage pour arrêt automatique-machine persistance du nom du système.

    Si vous avez juste un répertoire de stockage et pas de HA de configuration, alors le mieux que vous pouvez obtenir est un passe-période de point de contrôle - si vous perdez tous les fichiers. Dans le cas où vous n'avez pas de perdre des fichiers, vous pouvez essayer un hadoop namenode -recover option comme le montre cette post pour être en mesure de récupérer l'image en plus de certains (ou tous) les modifications.

    Quel est le risque dans l'exercice de hadoop namenode -récupérer option sur un Échec Namenode.
    Le risque est de perdre les modifications que vous demandez le mode de récupération pour sauter. Ceux-ci peuvent être n'importe quoi à partir d'un fichier ou d'un répertoire de créations, les modifications d'attributs tels que les temps d'accès à des mises à jour.

    OriginalL'auteur Harsh J