httpfs erreur de catégorie Opération de LECTURE n'est pas pris en charge dans l'état de veille

Je suis en train de travailler sur hadoop apache 2.7.1 et j'ai un groupe qui se compose de 3 nœuds

nn1
nn2
dn1

nn1 est le dfs.par défaut.nom, de sorte qu'il est le maître nom de nœud.

J'ai installé httpfs et a commencé des cours après le redémarrage de tous les services. Lorsque nn1 est active et nn2 est en veille, je peux envoyer cette demande

http://nn1:14000/webhdfs/v1/aloosh/oula.txt?op=open&user.name=root

à partir de mon navigateur et une boîte de dialogue de ouvrir ou enregistrer ce fichier s'affiche, mais quand je tue le nom du noeud en cours d'exécution sur nn1 et commencer à nouveau que la normale, puis en raison de la haute disponibilité nn1 devient de veille et nn2 devient actif.

Donc ici httpfs devrait fonctionner, même si nn1 devient stand by, mais l'envoi de la même demande maintenant

http://nn1:14000/webhdfs/v1/aloosh/oula.txt?op=open&user.name=root

me donne l'erreur

{"RemoteException":{"message":"Operation category READ is not supported in state standby","exception":"RemoteException","javaClassName":"org.apache.hadoop.ipc.RemoteException"}}

Ne devrait pas httpfs surmonter nn1 en mode veille et amener le fichier? Est-ce dû à une mauvaise configuration, ou n'importe quelle autre raison?

De mon coeur-site est

<property>
       <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
       </property>

        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
En supposant que nn1 est où HttpFs serveur est en cours d'exécution, pouvez-vous confirmer si l'un des deux de le noeud est dans l'état actif.
nn1 est en stand by et nn2 est active, je peut savoir par le biais de hdfs haadmin -getServiceState

OriginalL'auteur oula alshiekh | 2017-04-11

  1. 7

    Il ressemble HttpFs n'est pas de Haute Disponibilité encore au courant. Cela pourrait être en raison de l'absence configurations requises pour les Clients de se connecter avec le courant Actif Namenode.

    Assurer la fs.defaultFS propriété dans core-site.xml est configuré avec le bon nameservice ID.

    Si vous avez le ci-dessous dans hdfs-site.xml

    <property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

    puis dans core-site.xml, il devrait être

    <property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

    Également configurer le nom de la classe Java qui sera utilisé par le Client DFS pour déterminer le NameNode est actuellement Actif et est de servir les demandes des clients.

    Ajouter cette propriété hdfs-site.xml

    <property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>            
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

    Redémarrer le Namenodes et HttpFs après l'ajout de propriétés à tous les nœuds.

    Puis-je utiliser dans le nom du cluster de caractères comme "_-." ? J'utilise HDP 2.6.3 et j'ai mis du nom du cluster lors de l'installation de my_dev_env, mais dans hdfs-site.xml est par défaut mydevenv, c'est ok? Je n'ai pas l'installation httpfs, seulement HDFS HA, mais ces propriétés a été mis en place.

    OriginalL'auteur franklinsijo