Où sont mes fichiers(dir) stockées lorsque j'ai utilisé le hadoop fs -mkdir?
Je suis totalement nouveau sur hadoop et vient de terminer l'installation qui m'a pris 2 jours...
Je vais maintenant essayer avec hadoop dfs de commande, mais je n'arrivais pas à le comprendre, même si j'ai été la navigation pendant des jours, je ne pourrais pas trouver la réponse à ce que je veux savoir.
Tous les exemples montrent que le résultat est censé être, sans en expliquer la structure réelle, alors je serai heureux si quelqu'un pouvait m'aider à comprendre hadoop hdfs.
J'ai créé un répertoire sur le HDFS.
bin/hadoop fs -mkdir input
OK, je vais vérifier avec la commande ls.
bin/hadoop fs -ls
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2012-07-30 11:08 input
OK, pas de problème, tout semble parfait.. MAIS où est réellement le HDFS les données stockées?
J'ai pensé qu'il serait de stocker dans le mon datanode répertoire (/home/hadoop/banque de données), qui a été définie dans core-site.xml sous hadoop.tmp.dir, mais il n'est pas là..
Puis j'ai essayé de voir par le biais du WEB-UI et j'ai trouvé que "l'entrée" a été créé en vertu de l' "/user/hadoop/" (/utilisateur/hadoop/entrée).
Mes questions sont les
- (1) Quels sont les datanode répertoire (hadoop.tmp.dir), utilisé pour la, depuis il ne marche pas stocker tout ce que j'ai traitées par dfs commande?
- (2) Tout ce qui est créé avec dfs commande va à /utilisateur/XXX/, comment faire pour modifier la valeur de celui-ci?
- (3) je ne peux pas voir quoi que ce soit quand je tente d'y accéder par le biais de la normale de commande linux (ls /utilisateur/hadoop). N' /utilisateur/hadoop existe logiquement?
Je suis désolé si mes questions sont stupides..
un débutant a du mal à comprendre hadoop mieux..
Vous en remercie d'avance.
OriginalL'auteur user1561806 | 2012-07-30
Vous devez vous connecter pour publier un commentaire.
Hdfs est pas un des systèmes de fichiers posix et vous devez les utiliser hadoop api pour lire et voir ce système de fichiers. C'est la raison pour laquelle vous avez à faire hadoop fs -ls que vous êtes en utilisant hadoop API pour lire les fichiers ici. Données dans hdfs sont stockées dans des blocs et stockés dans tous les datanodes. Les métadonnées à propos de ce système de fichier est stocké sur le Namenode. Les fichiers de données que vous voyez dans le répertoire "/home/hadoop/banque de données " sont des blocs stockés sur les différents datanode.
Je pense que vous devriez en savoir plus sur son système de fichier dans son tutoriel. Yahoo, YDN tutoriel sur hdfs
OriginalL'auteur Animesh Raj Jha