Accès HDFS depuis l'hôte distant via l'API Java, authentification de l'utilisateur

J'ai besoin d'utiliser cluster HDFS de bureau à distance par le biais de l'API Java. Tout fonctionne bien jusqu'à ce qu'il vient d'écrire. Si je suis en train de créer n'importe quel fichier je obtenir une autorisation d'accès exception. Le chemin semble bon, mais exception indique mon bureau à distance nom d'utilisateur qui est des cours n'est pas ce dont j'ai besoin pour accéder aux HDFS répertoire.

La question est:
- Est-il possible de représenter les différents nom d'utilisateur à l'aide de "simples" authentification dans les API Java?
- Pourriez-vous s'il vous plaît signaler quelques bonnes explication de l'authentification /autorisation de régimes dans hadoop /HDFS préférable avec l'API Java exemples?

Oui, je sais déjà 'whoami' pourrait être surchargé dans ce cas, l'utilisation de shell alias, mais je préfère éviter les solutions de ce type. Aussi les détails ici est que je n'aime pas l'utilisation de certains trucs comme les tuyaux à travers SSH et les scripts. J'aimerais effectuer tout en utilisant seulement de l'API Java.
Je vous remercie à l'avance.

source d'informationauteur Roman Nikitchenko

  1. 14

    Après quelques études, je suis venu à la solution suivante:

    • Je n'ai pas vraiment besoin de la pleine Kerberos solution, il suffit actuellement que les clients peuvent exécuter HDFS demandes émanant de tout utilisateur. L'environnement lui-même est considéré comme sûr.
    • Cela me donne une solution basée sur hadoop UserGroupInformation classe. Dans l'avenir je peux l'étendre pour prendre en charge Kerberos.

    Exemple de code probablement utile pour les personnes à la fois pour de faux "authentification" et à distance HDFS accès:

    package org.myorg;

import java.security.PrivilegedExceptionAction;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;

public class HdfsTest {

    public static void main(String args[]) {

        try {
            UserGroupInformation ugi
                = UserGroupInformation.createRemoteUser("hbase");

            ugi.doAs(new PrivilegedExceptionAction<Void>() {

                public Void run() throws Exception {

                    Configuration conf = new Configuration();
                    conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase");
                    conf.set("hadoop.job.ugi", "hbase");

                    FileSystem fs = FileSystem.get(conf);

                    fs.createNewFile(new Path("/user/hbase/test"));

                    FileStatus[] status = fs.listStatus(new Path("/user/hbase"));
                    for(int i=0;i<status.length;i++){
                        System.out.println(status[i].getPath());
                    }
                    return null;
                }
            });
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

    De référence utile pour ceux qui ont un problème similaire:

    • Cloudera blog "L'autorisation et l'Authentification Dans Hadoop". Bref, axé sur l'explication simple de hadoop des approches de sécurité. Pas d'information spécifique à l'API Java solution, mais bon pour la compréhension de base du problème.

    Mise à JOUR:

    Alternative pour ceux qui utilise la ligne de commande hdfs ou hadoop utilitaire sans local de l'utilisateur nécessaire:

     HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt /

    Ce que vous avez réellement à faire est de vous lire fichier local en fonction de votre local autorisations, mais lors de la passation de fichier HDFS vous êtes authentifié comme utilisateur hdfs.

    Cela a assez des propriétés similaires à celles de l'API code illustré:

    1. Vous n'avez pas besoin sudo.
    2. Vous n'avez pas besoin de réellement approprié utilisateur local 'sf'.
    3. Vous n'avez pas besoin de copier quoi que ce soit ou de changer les permissions en raison des points précédents.