HDFS Sous répliqué blocs

Je suis à l'aide de Cloudera Manager Free Edition sur mon "Cluster" avec tous les services sur mon ordinateur.

Ma machine agit comme le datanode,namenode ainsi que la secondary namenode.

Paramètres dans HDFS liés à la réplication,

dfs.replication                                   - 1
dfs.replication.min, dfs.namenode.replication.min - 1
dfs.replication.max                               - 1

Encore obtenir en vertu de la réplication des blocs, et donc de Mauvaise Santé,

Le Namenode journal dit,

Requested replication 3 exceeds maximum 1
java.io.IOException: file /tmp/.cloudera_health_monitoring_canary_files/.canary_file_2013_10_21-15_33_53 on client 111.222.333.444
Requested replication 3 exceeds maximum 1
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.verifyReplication(BlockManager.java:858)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:1848)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:1771)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1747)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:439)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:207)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44942)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1751)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1747)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1745)

J'ai modifié les valeurs,enregistré, a Déployé la Configuration du Client, Redémarré trop. C'est toujours le même.

Quels sont les biens que je dois mettre pour faire CM lire facteur de réplication comme 1 au lieu de 3 ?

OriginalL'auteur Suvarna Pattayil | 2013-10-21

3

C'est un paramètre du client. Le Client veut répliquer fichier pour 3 fois. Canaries test agit en tant que client. On dirait que vous avez à tune hdfs canaries paramètres de test.
Ou jouet pourrait tenter d'utiliser Cloudera managr et définir facteur de réplication prop comme définitive. Il serait d'interdire client pour modifier cette propriété.

OriginalL'auteur Sergey
11

Modifier le facteur de réplication directement dans un shell
```
hadoop fs -setrep -R 1 /
```
Si vous avez des problèmes d'autorisation, ce qui a fonctionné pour moi a été de changer le facteur de réplication en tant qu'utilisateur de chaque fichier. J'ai dû changer le facteur de réplication pour oozie fichiers comme suit:
```
sudo -u oozie bash
hadoop fs -setrep -R 1 /
```
Répétez l'opération pour chaque utilisateur dont les autorisations ont échoué.

OriginalL'auteur Martin Tapp
2

J'ai fait face à ce problème. Dans mon cas, c'était en raison du manque de blocs. Merci de confirmer si c'est le cas, alors allez à hdfs://hostname:50070 et de voir le bloc de rapport. Essayez de supprimer ou télécharge les fichiers pour les blocs qui sont manquantes. Cela devrait résoudre tout problème. Voilà comment j'ai résolu le mien.

Ok. Donc, vous voulez dire que les blocs qui sont entrirely manquant? et n'avez pas de copie. Qui fait sens. Merci
Salut Vusp.. A ma réponse vous aider. Si oui, alors s'il vous plaît marquer la droite.

OriginalL'auteur sathish reddy
0
```
$ hadoop fs -setrep -R 1 /
```
ou

mise à jour de votre hdfs-site.xml propriété de fichier
```
dfs.replication=1
```
OriginalL'auteur venkat4143

De connexion à l'aide de HDFS utilisateur #su - hdfs

Exécuter cet ensemble de commandes à fixer sous répliqué blocs dans HDFS manuellement

# hdfs fsck /| grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files`
# for hdfsfile in `cat /tmp/under_replicated_files\`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done

OriginalL'auteur Salim K A

-1

Bien, Il n'est pas recommandé de tenir les deux secondary namenode et namenode dans le même nœud. Mettre dans la machine séparée pour de meilleurs résultats.

En viens à votre question. J'espère que vous testez dans votre machine. Cloudera, à tort, de considérer que vous avez trois répliques, c'est pourquoi ce problème a montré jusqu'à. Forment un groupe séparé, il doit avoir un minimum de 4 systèmes.

Vérifiez d'abord votre hdfc de configuration dans hdfs-site.xml a cette configuration ou pas
```
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
```
J'espère que votre cluster a 2 ou 3 systèmes, de sorte que le reste de la répliques ne sont pas reproduites correctement, de sorte que ce problème s'est présenté.

Vous pouvez résoudre ce problème. Il suffit d'ouvrir le terminal entrez cette commande
```
$ hadoop fs -setrep -R 1 /
```
Maintenant réplications écrase et résoudre ce problème, sinon ajouter un peu de systèmes à trois ou plus pour le cluster existant. Cela signifie processus de la commission sûrement votre problème sera résolu.

OriginalL'auteur Venu A Positive

Vous devez vous connecter pour publier un commentaire.