HDFS Répertoire Home

J'ai la configuration d'un nœud unique multi-utilisateur cluster hadoop.
Dans mon cluster, il y a un administrateur qui est responsable de la gestion du cluster (super-utilisateur). Tous les autres utilisateurs sont affectés à une hdfs répertoire comme /home/xyz où xyz est un nom d'utilisateur.

Sous unix, on peut changer le répertoire de base par défaut pour un utilisateur dans /etc/passwd. Et par défaut, à l'atterrissage répertoire d'un utilisateur est le répertoire d'accueil.

Comment puis-je le faire dans hadoop pour le système de fichiers hdfs.
Je veux pour exemple, si l'utilisateur tape:
$hadoop dfs -ls sur les unix invite.
Il liste le contenu du répertoire de base alloué par moi.

De plus, hdfs répertoires sont créés par le super-utilisateur qui exécute le cluster hadoop de super-utilisateur et non unix root), puis transfère la propriété d'un utilisateur en particulier.

OriginalL'auteur Tapan Avasthi | 2012-04-09

  1. 7

    Je ne suis pas sûr que c'est quelque chose qui peut être configuré à la source pour DistributedFileSystem(ligne 150) a un appel pour getHomeDirectory qui semble être codée en dur:

    @Override
public Path getHomeDirectory() {
  return makeQualified(new Path("/user/" + dfs.ugi.getShortUserName()));
}

    Vous avez deux choix possibles si vous voulez être en mesure de changer cela:

    • Soumettre un ticket pour hadoop demander une nouvelle fonctionnalité - Voir ce lien
    • Modifier la source vous-même et de re-construire + re-distribuer les hadoop-core pot de l'ensemble de votre cluster (simple dans votre nœud unique pseudo cluster)
    Salut Chris, cool observation! Je vais essayer de reconstruire ma source, mais me demandais juste si j'ai juste besoin de faire un seul changement, tel que mentionné par vous ou il ya d'autres fonctions où j'ai peut-être besoin de la changer.
    À partir d'une source hadoop dir, exécuter: grep "\"/user" * -iRn --include=\*.java - ce qui va attraper le plus de fichiers, mais peut-être pas tous d'entre eux. Vous ne pouvez pas avoir à modifier tous les divers tests unitaires. Bonne chance!

    OriginalL'auteur Chris White

  2. 1

    tapan, Chaque utilisateur dispose d'un répertoire "home" dans HDFS /utilisateur/nom d'utilisateur. Par exemple, Si vous tapez hadoop fs -ls, il vous faudra le courant HDFS répertoire de l'utilisateur. Je l'ai vérifié sur unique avec deux utilisateurs.

    Venir à unix fichier (/etc/passwd), je ne sais pas. Mais, c'est vraiment intéressant. Comme chris l'a dit, nous pouvons ajouter de nouvelles fonctionnalité comme, introduire user-admin-site.xml comme le fichier de configuration et ajouter des groupes, des utilisateurs, de leurs autorisations sur les répertoires, le répertoire d'accueil etc. Vraiment intertesting, nous avons o...

    OriginalL'auteur shiva kumar s