Trouver le numéro de port HDFS est à l'écoute

Je veux accéder à hdfs avec des noms pleinement qualifiés tels que :

hadoop fs -ls hdfs://machine-name:8020/user

Je pourrais aussi simplement l'accès hdfs avec

hadoop fs -ls /user

Cependant, je suis en train d'écrire des cas de test qui doit travailler sur les différentes distributions(HDP, Cloudera, MapR, etc...) ce qui implique l'accès hdfs les fichiers avec les noms qualifiés.

Je comprends que hdfs://machine-name:8020 est défini dans core-site.xml comme fs.default.name. Mais ce qui semble être différents sur les différentes distributions. Par exemple, hdfs est maprfs sur MapR. IBM BigInsights n'ont même pas de core-site.xml dans $HADOOP_HOME/conf.

Il ne semble pas une façon hadoop me dit ce qui est défini dans fs.default.name avec ses options de ligne de commande.

Comment puis-je obtenir la valeur définie dans fs.default.name de façon fiable à partir de la ligne de commande?

Le test sera toujours en cours d'exécution sur namenode, de sorte que le nom de la machine est facile. Mais pour obtenir le numéro de port(8020) est un peu difficile. J'ai essayé de lsof, netstat.. mais ne pouvait toujours pas trouver une méthode fiable.

InformationsquelleAutor ernesto | 2014-10-06
  1. 44

    Commande ci-dessous disponible dans Apache hadoop 2.7.0-delà, cela peut être utilisé pour obtenir les valeurs pour les hadoop propriétés de configuration. fs.par défaut.le nom est obsolète dans hadoop 2.0, fs.defaultFS est la valeur mise à jour. Pas sûr que cela va fonctionner en cas de maprfs. 

    hdfs getconf -confKey fs.defaultFS  # ( new property )

    ou 

    hdfs getconf -confKey fs.default.name    # ( old property )

    Pas sûr s'il existe des utilitaires de ligne de commande disponibles pour récupérer les propriétés de configuration de valeurs dans Mapr ou hadoop 0.20 versions hadoop. Dans le cas de cette situation, vous devriez essayer la même chose en Java pour récupérer la valeur correspondant à une propriété de configuration. 

    Configuration hadoop conf = Configuration.getConf();
System.out.println(conf.get("fs.default.name"));
    • L'utilitaire de ligne de commande "sf" n'est pas disponible dans les anciennes version hadoop?
    • hdfs commande introduit à hadoop de 2.X, cette commande n'est pas là dans 1.X, Vous pouvez essayer la deuxième option dans ce cas
    • Utiliser hadoop conf -clés fs.par défaut.nom de pre 2.x versions.
    • Je reçois getconf: commande Inconnue quand je l'ai essayer.
    • hdfs getconf la commande a été ajoutée uniquement dans Hadoop-2.7.0, cette sous-commande n'est pas disponible dans l'ancienne version hadoop, Qui hadoop version utilisez-vous ?
    • Oh! Je suis en utilisant hadoop 2.6.5. Est-il un moyen de trouver le nom de nœud et portnumber dans cette version?
    • Mise à jour version hadoop dans la réponse, Vous devez utiliser l'API Java dans ce cas.

    InformationsquelleAutor SachinJ
  2. 10

    fs.par défaut.le nom est obsolète.

    utilisation : hdfs getconf -confKey fs.defaultFS

    • Je reçois getconf: commande Inconnue quand je l'ai essayer.
    InformationsquelleAutor vijayinani
  3. 2

    J'ai rencontré cette réponse quand j'ai été à la recherche pour HDFS URI. Généralement c'est une URL pointant vers le namenode. Alors que hdfs getconf -confKey fs.defaultFS me met le nom de la nameservice mais il ne va pas m'aider à la construction de la HDFS URI.

    J'ai essayé la commande ci-dessous pour obtenir une liste des namenodes au lieu

     hdfs getconf -namenodes

    Cela m'a donné une liste de tous les namenodes, primaire, premier, suivi par le secondaire. Après que la construction de la HDFS URI était simple

    hdfs://<primarynamenode>/
    • Je reçois getconf: commande Inconnue quand je l'ai essayer.
    InformationsquelleAutor terpinator
  4. 0

    vous pouvez utiliser 

    hdfs getconf -confKey fs.default.name
    InformationsquelleAutor Shubham Sharma
  5. -1

    Oui, hdfs getconf -namenodes va afficher la liste de namenodes.

    InformationsquelleAutor swathi