pyspark.sql.utils.IllegalArgumentException: "Erreur lors de l'instanciation 'org.apache.spark.sql.de la ruche.HiveSessionStateBuild dans windows 10

J'ai installé étincelle 2.2 avec winutils dans windows 10.quand je vais courir pyspark, je suis confronté à soufflet exception

pyspark.sql.utils.IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

J'ai déjà essayé la permission 777 commandes dans tmp/ruche dossier.mais il ne fonctionne pas pour l'instant

winutils.exe chmod -R 777 C:\tmp\hive

après l'application, le problème reste le même. Je suis à l'aide de pyspark 2.2 dans mon windows 10.
Elle est l'étincelle-shell env
pyspark.sql.utils.IllegalArgumentException:

Ici est pyspark shell
pyspark.sql.utils.IllegalArgumentException:

De bien vouloir m'aider à comprendre
Merci

merci Michel pour votre réponse. j'essayais de votre instruction dans ma configuration.j'ai eu de la réussite de l'installation de mon ordinateur à la maison. ok ici c'est l'Causés par: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.net.ConnectException: Appel De BUREAU-SDNSD47/192.168.10.143 à 0.0.0.0:9000 échec lors de la connexion d'exception: java.net.ConnectException: Connexion refusée: je suis l'obtention de ce. de bien vouloir m'aider
Merci beaucoup de Jacek . il y avait un Hdfs conf chemin d'accès au dossier que j'ai créé dans ma variable utilisateur pour plus tôt expérience. je l'ai supprimé et que pyspark fonctionne 🙂 merci beaucoup et désolé de vous déranger. je suis étincelle d'apprentissage, mais aujourd'hui, j'ai appris comment faire pour résoudre une étrange exception comme cela. Merci beaucoup
Nous avons tous à apprendre ici. J'ai utilisé notre conversation pour répondre à votre question pour référence future. Veuillez accepter si elle correspond à ce qui vous a aidé à résoudre le problème. Merci.
Double Possible de Spark 2.1 - Erreur lors de l'instanciation de HiveSessionState

OriginalL'auteur Kalyan | 2017-07-19

  1. 1

    Le Port 9000?! Il doit être quelque chose Hadoop-puisque je ne me souviens pas du port de Bougie. Je vous recommande d'utiliser spark-shell premier qui permettrait d'éliminer toutes les autres "houblon", c'est à dire spark-shell n'a pas besoin de deux moteurs d'exécution pour l'Étincelle et Python.

    Compte tenu de l'exception, je suis assez sûr que le problème est que vous avez certains Ruche
    ou Hadoop liées à la configuration quelque part qui traînent et de susciter l'utilise apparemment.

    La "Causé par" semble montrer que les 9000 est utilisé lors de la Spark SQL est créée lors de la Ruche-courant sous-système est chargé.

    Causés par: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.net.ConnectException: Appel De BUREAU-SDNSD47/192.168.10.143 à 0.0.0.0:9000 échec lors de la connexion d'exception: java.net.ConnectException: Connexion refusée

    Veuillez consulter les variables d'environnement de Windows 10 (éventuellement à l'aide de set de commande sur la ligne de commande) et enlever tout ce Hadoop.

    OriginalL'auteur Jacek Laskowski

  2. 2

    J'ai eu le même problème à l'aide de la commande 'pyspark" ainsi que "l'étincelle-shell' (scala) dans mon mac os avec apache spark 2.2. Basé sur quelques recherches, j'ai compris sa raison de mon JDK version 9.0.1 qui ne fonctionne pas bien avec Apache Spark. Les deux erreurs s'résolu en revenant de Java JDK 9 pour JDK 8.

    Peut-être que ça pourrait aider avec votre windows étincelle d'installation.

    OriginalL'auteur Chetan Shetty

  3. 1

    L'affichage de cette réponse pour la postérité. J'ai fait face à la même erreur.
    La façon dont je l'ai résolu est en essayant d'abord de sortir de l'étincelle-shell au lieu de pyspark. Le message d'erreur a été plus direct.

    Cela nous a donné une meilleure idée; il n'y a S3 erreur d'accès.
    Ensuite, je l'ai vérifié l'ec2 rôle/profil d'instance de cette instance; il a S3 accès administrateur.

    Puis j'ai fait un grep pour s3://dans tous les fichiers de conf dans /etc/répertoire.
    Ensuite, j'ai trouvé que dans core-site.xml il y a une propriété appelée

    <!-- URI of NN. Fully qualified. No IP.-->
    <name>fs.defaultFS</name>
    <value>s3://arvind-glue-temp/</value>
    </property>

    Puis je me suis souvenu. J'avais enlevé HDFS que le système de fichiers par défaut et réglé à S3. J'avais créé l'instance ec2 d'un ancien AMI et avait oublié de mettre à jour le compartiment S3 correspondant à la plus récente du compte.

    Une fois que j'ai mis à jour le s3 seau à celui qui est accessible par l'actuelle instance ec2 profil; il a travaillé.

    OriginalL'auteur AravindR

  4. 0

    À l'utilisation de l'Étincelle sur le système d'exploitation Windows, vous pouvez suivre cette guide.

    REMARQUE: assurez-vous que vous avez correctement réglé votre adresse IP à l'encontre de votre nom d'hôte ainsi que localhost, le manque de localhost résolution a causé des problèmes pour nous dans le passé.

    Aussi, vous devez fournir la trace de la pile car il permet de déboguer le problème rapidement et enregistre la conjecture.

    Laissez-moi savoir si cela aide. Des acclamations.

    OriginalL'auteur Chitral Verma

  5. 0

    De l'essayer . Il a travaillé pour moi!. Ouvrir une invite de commande en mode administrateur, puis exécutez la commande 'pyspark'. Cela devrait aider à ouvrir une étincelle session sans erreurs.

    OriginalL'auteur Nilav Baran Ghosh

  6. 0

    J'ai aussi trouver l'erreur dans Unbuntu 16.04:

    raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

    c'est parce que j'ai déjà exécuté ./bin/spark-shell

    Donc, il suffit de tuer que spark-shell et de ré-exécuter ./bin/pyspark

    OriginalL'auteur Jin Zhong

  7. 0

    J'ai aussi trouver l'erreur dans MacOS10, et j'ai résolu ce problème par l'utilisation Java8 au lieu de Java9.

    Lorsque Java 9 est la version par défaut en train de se rétablir dans l'environnement, pyspark va jeter d'erreur ci-dessous et vous verrez le nom de " xx " n'est pas défini d'erreur lorsque vous essayez d'accéder sc, étincelles, etc. de shell /Jupyter.

    plus de détails, vous pouvez voir ce lien

    OriginalL'auteur wangcs

  8. 0

    Vous devez avoir hive-site.xml fichier dans l'étincelle du répertoire de configuration.
    Changement du port de 9000 à 9083 résolu le problème pour moi.

    Veuillez vous assurer que la propriété est mise à jour dans les deux hive-site.xml fichiers qui sera placée sous ruche config et étincelle config répertoire.

    <property>
    <name>hive.metastore.uris</name>
    <value>thrift://localhost:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>   </property>

    Pour moi dans ubuntu, l'emplacement pour hive-site.xml sont:

    /home/hadoop/ruche/conf/

    et

    /home/hadoop/spark/conf/

    OriginalL'auteur Arun