Hadoop datanode ne parvient pas à lancer des org.apache.hadoop.hdfs.serveur.commun.Stockage: Impossible de verrouiller le stockage

J'ai quelques problèmes en essayant de démarrer un datanode dans Hadoop, dans le journal, je peux voir que datanode est lancé deux fois (partielle journal suit):

2012-05-22 16:25:00,369 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = master/192.168.0.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.0.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1243785; compiled by 'hortonfo' on Tue Feb 14 08:15:38 UTC 2012
************************************************************/
2012-05-22 16:25:00,375 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = master/192.168.0.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.0.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1243785; compiled by 'hortonfo' on Tue Feb 14 08:15:38 UTC 2012
************************************************************/
2012-05-22 16:25:00,490 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2012-05-22 16:25:00,500 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2012-05-22 16:25:00,500 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2012-05-22 16:25:00,500 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2012-05-22 16:25:00,512 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2012-05-22 16:25:00,523 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2012-05-22 16:25:00,523 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2012-05-22 16:25:00,524 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2012-05-22 16:25:00,722 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2012-05-22 16:25:00,724 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2012-05-22 16:25:00,727 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2012-05-22 16:25:00,729 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2012-05-22 16:20:15,894 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /app/hadoop/tmp/dfs/data. The directory is already locked.
2012-05-22 16:20:16,008 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /app/hadoop/tmp/dfs/data. The directory is already locked.
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:602)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:455)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:111)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:299)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1539)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)

J'ai cherché en ligne et j'ai trouvé cette question, mais je n'ai pas d'écraser quelque chose à l'aide de conf/hdfs-site.xml, qui est illustré ci-dessous, afin de Hadoop doit utiliser les valeurs par défaut (comme décrit ici) ne cause aucun verrouillage a échoué.
C'est mon conf/hdfs-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
</configuration>

C'est mon conf/core-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
<description>The name of the default file system.  A URI whose
scheme and authority determine the FileSystem implementation.  The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class.  The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

C'est le contenu de hadoop/conf/esclaves:

master
slave

Pouvez-vous confirmer que l'utilisateur sous lequel hadoop est en cours d'exécution, a la permission d'écrire à la /app/hadoop/tmp/dfs/data dossier, et que ce dossier existe
Oui, l'utilisateur est propriétaire de /app/hadoop/tmp/dfs/données, a des droits d'écriture et que le dossier existe.
ok, un fichier appelé in_use.lock existent déjà dans ce dossier?
Non, il n'est pas. Nouvelle tentative de démarrage avec start-dfs.sh maintenant, il jette java.io.IOException: Incompatible namespaceIDs in /app/hadoop/tmp/dfs/data que je suis (je l'espère), en mesure de résoudre à l'aide de michael-noll.com/tutorials/...".. j'ai aussi remarqué que lorsque datanode s'est écrasé, il avait été lancé deux fois de 200ms. Si nécessaire, je vais poster le log complet.
bien l'exécution de deux instances côté-à-côte en résulterait dans la serrure message d'erreur

OriginalL'auteur gc5 | 2012-05-22

3
- arrêter datanode
- supprimer la in_use.fichier de verrouillage de la dsv de données dir
- emplacement et de commencer à datanode
il devrait fonctionner très bien

OriginalL'auteur Jabir Ahmed
1

Également ajouter les 2 propriétés dans votre hdfs-site.xml fichier..
```
<property>
<name>dfs.name.dir</name>
<value>/some_path</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/some_path</value>
</property>
```
leur emplacement par défaut est /tmp..à cause de ce que vous perdez des données sur chaque redémarrage.

OriginalL'auteur Tariq
1

J'ai été confronté à un problème similaire, mais j'ai lu un post qui disait que le dfs.nom.dir et dfs.les données.dir doivent être différents les uns des autres. J'ai eu les deux pour être le même, et la modification de ces valeurs soient différentes les unes des autres corrigé mon problème.

OriginalL'auteur user2030440
0

J'ai eu le même problème et paramètre umask à 0022 dans la coquille, où j'ai été de lancer les tests résolu le problème pour moi.

OriginalL'auteur André

sudo rm -r /tmp/hadoop-[YourNameHere]/dfs/data/

Et redémarrez dfs.

OriginalL'auteur nikk

Vous devez vous connecter pour publier un commentaire.