Impossible de trouver la winutils binaire dans hadoop chemin binaire

Solution Simple :
Télécharger à partir de ici et ajouter à $HADOOP_HOME/bin

(Source :Cliquez ici)

EDIT:

Pour hadoop-2.6.0 vous pouvez télécharger des fichiers binaires à partir de Titus Barik blog >>.

Je n'ai pas seulement besoin de point de HADOOP_HOME d'extraits du répertoire [path], mais aussi de créer un système de propriété -Djava.library.path=[path]\bin à charge native des bibliothèques (dll).

Si vous faites face à ce problème lors de l'exécution autonome de l'application locale avec Spark (c'est à dire, après l'ajout de spark-assembly-x.x.x-hadoopx.x.x.jar ou la dépendance Maven pour le projet), une solution plus simple serait de mettre winutils.exe (télécharger à partir de ici) dans "C:\winutil\bin". Ensuite, vous pouvez ajouter winutils.exe à la hadoop de répertoire en ajoutant la ligne suivante dans le code:

System.setProperty("hadoop.home.dir", "c:\\\winutil\\\")

Source: Cliquez Sur ici

Je viens de tomber sur ce problème tout en travaillant avec Eclipse. Dans mon cas, j'avais la bonne version Hadoop téléchargé (hadoop-2.5.0-cdh5.3.0.tgz), j'ai extrait le contenu et placé directement dans mon lecteur C. Puis je suis allé à

Eclipse->Debug/Run Configurations -> Environnement (onglet) -> et il ajouta

variable: HADOOP_HOME

Valeur: C:\hadoop-2.5.0-cdh5.3.0

winutils.exe sont nécessaires pour hadoop pour effectuer hadoop commandes connexes. s'il vous plaît télécharger
hadoop-commune-2.2.0 fichier zip. winutils.exe peut être trouvé dans le dossier bin. Extraire le fichier zip et le copier dans le local hadoop/bin.

Configurer HADOOP_HOME variable dans windows pour résoudre le problème.

Vous pouvez trouver la réponse dans org/apache/hadoop/hadoop-common/2.2.0/hadoop-common-2.2.0-sources.jar!/org/apache/hadoop/util/Shell.java :

IOException de

  public static final String getQualifiedBinPath(String executable) 
  throws IOException {
    //construct hadoop bin path to the specified executable
    String fullExeName = HADOOP_HOME_DIR + File.separator + "bin" 
      + File.separator + executable;
    File exeFile = new File(fullExeName);
    if (!exeFile.exists()) {
      throw new IOException("Could not locate executable " + fullExeName
        + " in the Hadoop binaries.");
    }
    return exeFile.getCanonicalPath();
  }

HADOOP_HOME_DIR de

//first check the Dflag hadoop.home.dir with JVM scope
String home = System.getProperty("hadoop.home.dir");
//fall back to the system/user-global env variable
if (home == null) {
  home = System.getenv("HADOOP_HOME");
}

Dans Pyspark, pour exécuter les locaux de spark application à l'aide de Pycharm utilisation ci-dessous les lignes de

os.environ['HADOOP_HOME'] = "C:\\winutils"
print os.environ['HADOOP_HOME']

Télécharger la version souhaitée de hadoop dossier (Dire si vous installez étincelle sur Windows puis hadoop version pour laquelle votre étincelle est construit pour l') à partir de cette le lien sous zip.

Extraire le zip dans le répertoire désiré.
Vous avez besoin d'avoir répertoire de la forme hadoop\bin (créer explicitement une telle hadoop\bin structure de répertoire si vous le souhaitez) avec bin contenant tous les fichiers contenus dans bin dossier téléchargé hadoop. Il contient de nombreux fichiers tels que hdfs.dll, hadoop.dll etc. en plus winutil.exe.

Maintenant créer une variable d'environnement HADOOP_HOME et mis à <path-to-hadoop-folder>\hadoop. Puis ajouter ;%HADOOP_HOME%\bin; à PATH variable d'environnement.

Ouvrir une "nouvelle invite de commande" et de recommencer votre commande.

J'ai utilisé "hbase-1.3.0" et "hadoop-2.7.3" versions. Réglage HADOOP_HOME variable d'environnement et de copie 'winutils.exe fichier de sous HADOOP_HOME/bin résout le problème sur un système d'exploitation windows.
Attention pour HADOOP_HOME de l'environnement dans le dossier d'installation de hadoop(/bin n'est pas nécessaire pour ces versions).
De plus, j'ai préféré à l'aide de la croix-plate-forme de l'outil cygwin à s'installer linux os fonctionnalité (autant que possible comme il le peut) car Hbase équipe vous recommandons de linux/unix env.