Hadoop dfs -ls retourne la liste des fichiers dans mon hadoop/ dir

J'ai mis en place un sigle-nœud Hadoop configuration en cours d'exécution via cygwin sous Win7. Après le démarrage de Hadoop par

bin/start-all.sh

- je exécuter 

bin/hadoop dfs -ls

qui me renvoie une liste de fichiers dans mon hadoop répertoire. Puis-je exécuter 

bin/hadoop datanode -format
bin/hadoop namenode -format

mais -ls encore me renvoie le contenu de mon hadoop répertoire. Autant je comprends qu'il doit retourner rien(dossier vide). Ce que je fais mal?

OriginalL'auteur Alex Nikulkov | 2010-03-06

  1. 2

    Avez-vous modifier le core-site.xml et mapred-site.xml en vertu de dossier conf ?
    Il semble que votre cluster hadoop est en mode local.

    OriginalL'auteur zjffdu

  2. 2

    Je sais que cette question est assez ancien, mais la structure du répertoire Hadoop a un peu changé (version 2.5 )
    Jeroen la version actuelle serait.

    hdfs dfs -ls hdfs://localhost:9000/utilisateurs/smalldata

    Aussi Juste pour de l'information - utilisation de start-all.sh et stop-all.sh a été abandonné, au lieu de cela on doit utiliser start-dfs.sh et start-yarn.sh

    OriginalL'auteur S N

  3. 1

    J'ai eu le même problème et résolu en spécifiant explicitement l'URL du NameNode.

    À la liste de tous les répertoires à la racine de votre hdfs espace d'effectuer les opérations suivantes:

    ./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/

    La documentation dit quelque chose à propos d'un défaut hdfs point dans la configuration, mais je ne la trouve pas. Si quelqu'un sait ce qu'ils signifient, merci de nous éclairer.

    C'est là que j'ai eu l'info: http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview

    merci c'est une grande aide pour moi 🙂

    OriginalL'auteur Jeroen Peeters

  4. 1

    Ou vous pouvez simplement faire:

    • Exécuter stop-all.sh.
    • Supprimer dfs de données et le nom des répertoires
    • Namenode -format
    • Exécuter start-all.sh

    OriginalL'auteur Gudda Bhoota