La racine de zéro dir: /tmp/ruche sur HDFS doit être accessible en écriture. Autorisations en cours: rw-rw-rw- (sur Windows)

Je suis en cours d'exécution Étincelle sur Windows 7. Lorsque j'utilise la Ruche, je vois l'erreur suivante

The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-

Les autorisations sont définies comme suit 

C:\tmp>ls -la
total 20
drwxr-xr-x    1 ADMIN Administ        0 Dec 10 13:06 .
drwxr-xr-x    1 ADMIN Administ    28672 Dec 10 09:53 ..
drwxr-xr-x    2 ADMIN Administ        0 Dec 10 12:22 hive

J'ai mis en "contrôle total" pour tous les utilisateurs de Windows->propriétés->sécurité>Avancé.

Mais je vois toujours la même erreur. Toute aide, s'il vous plaît?
J'ai vérifié un tas de liens, certains disent que c'est un bug sur la Spark 1.5. Est-ce vrai?

Merci
Aarthi

InformationsquelleAutor user1384205 | 2015-12-10
  1. 70

    Tout d'abord, assurez-vous d'utiliser la bonne Winutils pour votre système d'exploitation. Alors la prochaine étape est d'autorisations.

    Sur windows,vous devez exécuter la commande suivante sur cmd:

    D:\winutils\bin\winutils.exe chmod 777 D:\tmp\hive

    Espère que vous avez téléchargé winutils déjà n définir la HADOOP_HOME.

    • Si vous pensez, il a aidé à vous, pouvez-vous accepter la réponse, de sorte qu'Il va aider les autres à utiliser
    • C'est important si vous utilisez la version 64-bits ou 32-bit version de winutils. J'ai couru ce à plusieurs reprises et c'était comme si les autorisations ont été correctement définie (via winutils ls) mais seulement quand j'ai remplacé winutils.exe ca a fonctionné.
    • ceci a résolu le problème. A l'origine, j'avais la mauvaise winutils bien. Je suis à l'aide de windows 10, 64 bits et la winutils.exe à cet endroit [osdn.net/projects/win-hadoop/downloads/62852/... fonctionne pour moi
    • Fichier non trouvé sur le lien fourni u
    • vous avez raison. il semble que le fichier est déplacé. La seule solution maintenant est de rechercher sur le web. La taille est d'environ 106 KO, s'il vous plaît vérifier avant de l'utiliser. Il y a d'autres de plus petites tailles et celles qui ne fonctionnent pas.
    • La version 64 bits de winutils peut être trouvé à l'adresse codeload.github.com/gvreddy1210/64bit/zip/master
    • Je suis en train d'étincelle sur windows et j'ai eu la même erreur. J'ai téléchargé le zip de la spark paquetage pour hadoop à partir de ici et de l'extraire dans le lecteur D:. Alors créé hadoop\bin des répertoires à l'intérieur extraites du répertoire. Mettre winutils.exe dans hadoop\bin. Couru python-spark exemple hello world et a obtenu cette erreur. Est le Point où est \tmp\hive située \ configuré?
    • S'il vous plaît n'oubliez pas d'accepter la réponse si cela vous aide. Ce qui le rend facile pour d'autres personnes à trouver des solutions 🙂

    InformationsquelleAutor Nishu Tayal
  2. 24

    Première chose, vérifiez d'abord votre ordinateur de domaine. Essayez 

    c:\work\hadoop-2.2\bin\winutils.exe ls c:/tmp/hive

    Si cette commande dit accès refusé ou FindFileOwnerAndPermission erreur (1789): La relation d'approbation entre cette station de travail et le domaine principal a échoué.

    Cela signifie que votre ordinateur contrôleur de domaine n'est pas accessible , raison pourrait être que vous ne sont pas sur le même VPN comme votre système de contrôleur de domaine.Se connecter à un VPN et essayez à nouveau.

    Maintenant, essayez la solution fournie par Viktor ou Nishu.

    • Cela a fonctionné pour moi, j'ai eu à vous connecter à un vpn pour obtenir sur mes contrôleurs de domaine du réseau. patienter un certain temps, puis a couru le chmod 777 de commande.
    • Cela a fonctionné pour moi.
    • Je faisais l' %HADOOP_HOME%\bin\winutils.exe chmod 777 c:\tmp\hive maintes et maintes fois, et a été de se confondre pourquoi les autorisations n'étaient pas réglée correctement, ce fut une véritable bouée de sauvetage.
    InformationsquelleAutor Aaditya Raj
  3. 11

    Solution suivante travaillé sur Windows pour moi:

    • Tout d'abord, j'ai défini HADOOP_HOME. Il décrit en détail ici
    • Ensuite, j'ai fait comme Nishu Tayal, mais avec une différence:C:\temp\hadoop\bin\winutils.exe chmod 777 \tmp\hive

    \tmp\hive n'est pas de répertoire local

    • Merci Viktor. Mais j'obtiens l'erreur suivante quand j'ai essayer votre solution. C:\Programs\winutil\bin>winutils.exe chmod 777 \tmp\ruche ChangeFileModeByMask d'erreur (5): l'Accès est refusé.
    • Vous devez exécuter l'invite de commande ou cygwin en tant qu'Administrateur pour la commande pour les travaux
    InformationsquelleAutor L. Viktor
  4. 10

    Vous devez définir ce répertoire, les permissions sur HDFS, pas votre système de fichiers local. /tmp ne veut pas dire C:\tmp, sauf si vous définissez fs.defaultFs dans core-site.xml pour file://c:/, ce qui est probablement une mauvaise idée.

    Le vérifier à l'aide de 

    hdfs dfs -ls /tmp

    Définir à l'aide de 

    hdfs dfs -chmod 777 /tmp/hive
    • A travaillé pour moi dans Linux. Ne pas oublier de changer le hdfs dans le premier utilisateur
    InformationsquelleAutor cricket_007
  5. 8

    Erreur lors du démarrage de l'étincelle-shell sur VM en cours d'exécution sur Windows:
    Erreur msg: La racine de zéro dir: /tmp/ruche sur HDFS doit être accessible en écriture. Le refus d'une autorisation

    Solution:
    /tmp/la ruche est un répertoire temporaire. Seulement les fichiers temporaires sont maintenus dans cette
    emplacement. Pas de problème, même si nous supprimer ce répertoire sera créé lors de la
    nécessaire avec les autorisations appropriées.

    L'étape 1) Dans hdfs, Supprimer le /tmp/ruche directory ==> "hdfs dfs -rm-r /tmp/ruche"

    2) Au niveau de l'OS trop, supprimer le dossier /tmp/ruche ==> rm-rf /tmp/ruche

    Après cela, allumé l'étincelle-shell et il a bien fonctionné..

    • Cette réponse peut être de 4 mois de retard, mais cela m'a aidé.
    InformationsquelleAutor SNK
  6. 3

    C'est un simple en 4 étapes:

    Pour Spark 2.0+:

    1. Télécharger Hadoop pour Windows /Winutils

    2. Ajouter à votre code (avant SparkSession initialisation):

      si(getOS()=="windows"){ 
Système.setProperty("hadoop.la maison.dir", "C:/Users//winutils-master/hadoop-2.7.1"); 
}

    3. Ajouter à votre spark-session (Vous pouvez la modifier à C:/Temp au lieu du Bureau).

      .config("la ruche.exec.scratchdir","C:/Users//Desktop/tmphive")

    4. Ouvrir cmd.exe et de lancer:

      "path\to\hadoop-2.7.1\bin\winutils.exe" chmod 777 C:\Users\\Desktop\tmphive
    InformationsquelleAutor Abhinandan Dubey
  7. 2

    La raison principale est vous avez commencé l'étincelle au mauvais répertoire. merci de créer des dossiers dans D://tmp/hive (donner toutes les permissions et de commencer votre étincelle dans le lecteur D:
    D:> spark-shell

    maintenant, il va travailler.. 🙂

    InformationsquelleAutor Satya.pydikondala
  8. 1

    Il y a un bug dans Spark Jira pour la même chose. Ce problème a été résolu quelques jours en arrière. Voici le lien.

    https://issues.apache.org/jira/browse/SPARK-10528

    Commentaires ont toutes les options, mais pas de solution.

    InformationsquelleAutor sunil
  9. 1

    Problème résolu spark version 2.0.2 (14 Novembre 2016). Utiliser cette version .
    La Version 2.1.0 Dec 28 2016 version a les mêmes problèmes.

    • Pour moi sur une machine windows, ce fut la réponse qui m'a poussé dans la bonne direction. J'ai aussi eu une autre erreur, mais pourrait résoudre cette erreur avec l'aide de la deuxième réponse à la suite de post
    InformationsquelleAutor user7735815
  10. 1

    J'ai aussi été confronté à ce problème. Cette question est liée à la réseau de. J'ai installé étincelle sur Windows 7 à l'aide d'un domaine en particulier.

    Nom de domaine peut être vérifié

    Démarrer -> ordinateur> clic Droit -> Propriétés -> nom de l'Ordinateur,
    de domaine et les paramètres de groupe de travail -> cliquez sur modifier -> Nom de l'Ordinateur
    (Onglet) -> Cliquez sur Modifier -> nom de Domaine.

    Quand je lance étincelle de commande shell, il fonctionne très bien sans aucune erreur.

    Dans d'autres réseaux, j'ai reçu la permission d'écriture d'erreur.
    Pour éviter cette erreur, exécutez étincelle de commande sur le Domaine spécifié dans au-dessus de chemin.

    • Vous l'avez dit vous-même il a travaillé pour un autre utilisateur / domaine. Ce qui signifie que c'est un problème de permission de ne pas réseau. Merci pour une tentative honnête
    InformationsquelleAutor Mayank Gupta
  11. 0

    Peut s'il vous plaît essayez d'obtenir l'autorisation 777 sur le dossier /tmp/ruche, parce que ce que je pense, c'est que l'étincelle s'exécute en tant qu'utilisateur anonyme(qui entrera dans le autre catégorie d'utilisateur) et cette autorisation doit être récursive.
    J'ai eu ce même problème avec la version 1.5.1 de l'étincelle de la ruche, et il a travaillé en donnant autorisation 777 utilisant la commande ci-dessous sur linux

    chmod -r 777 /tmp/hive
    • Merci. J'ai essayé aussi. Ne fonctionne pas.. Avez-vous donc ce que sur Windows?
    • Nope, j'ai eu ce problème sur ubuntu, et cela a fonctionné.
    • La question est à propos de ce problème sur Windows environnement unix. Et même alors, le chmod ne fonctionnera pas tous par lui-même sous le niveau de la racine de /tmp. C'est le bon de commande sous unix, la commande sudo chmod -R 777 /tmp/ruche
    InformationsquelleAutor Reena Upadhyay
  13. 0

    À l'aide de la version correcte de winutils.exe a fait le tour pour moi. Le winutils devrait être à partir de la version d'Hadoop que l'Étincelle a été pré-construit pour.

    Ensemble HADOOP_HOME variable d'environnement à l'emplacement de winutils.exe. Je l'ai stocké winutils.exe avec C:\Spark\bin les fichiers. Alors maintenant, mon SPARK_HOME et HADOOP_HOME point à l'emplacement même C:\Spark.

    Maintenant que winultils a été ajouté au path, accorder des autorisations pour la ruche dossier à l'aide de winutils.exe chmod 777 C:\tmp\hive

    InformationsquelleAutor Harsha
  14. 0

    J'avais la même erreur "à La racine de zéro dir: /tmp/ruche sur HDFS doit être accessible en écriture. Autorisations en cours: rw-rw-rw-" sur Windows 7. Voici ce que j'ai fait pour résoudre le problème:

    1. J'avais installé Étincelle C:\Program Files (x86)..., il était à la recherche pour /tmp/ruche sous C: c'est à dire, C:\tmp\hive
    2. J'ai téléchargé WinUtils.exe de https://github.com/steveloughran/winutils. J'ai choisi une version même que ce que j'ai choisi pour hadoop paquet quand j'ai installé Étincelle. c'est à dire, hadoop-2.7.1
      (Vous pouvez en trouver sous le dossier bin c'est à dire, https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin)
    3. Maintenant utilisé la commande suivante pour faire le c:\tmp\hive dossier accessible en écriture
      winutils.exe chmod 777 \tmp\ruche

    Note: Avec une version précédente de winutils trop, la commande chmod a été l'établissement de l'autorisation nécessaire, en l'absence d'erreur, mais l'étincelle toujours plaint de ce que le /tmp/ruche dossier n'était pas accessible en écriture.

    InformationsquelleAutor Vid123
  15. -1

    Je viens de résoudre ce problème dans mon Win7 environnement. J'ai modifié les paramètres DNS avec une adresse IP incorrecte. Il rend mon bureau échec de la connexion au contrôleur de domaine. Une fois que j'ai mis la bonne IP du serveur DNS, et de redémarrer la machine. Le problème est disparu. Je peux utiliser winutils à ls d'un répertoire.

    InformationsquelleAutor Trumpet