L'obtention de NullPointerException lors de l'exécution de l'Étincelle Code Zeppelin 0.7.1

J'ai installé Zeppelin 0.7.1. Quand j'ai essayé d'exécuter l'Exemple de l'étincelle programme(qui a été disponible avec Zeppelin Tutorial portable), j'obtiens l'erreur suivante

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:828)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

J'ai aussi installer le fichier de configuration(zeppelin-env.sh) pour pointer vers mon Étincelle installation & Hadoop répertoire de configuration

export SPARK_HOME="/${homedir}/sk"
export HADOOP_CONF_DIR="/${homedir}/hp/etc/hadoop"

L'Étincelle de la version que j'utilise est 2.1.0 & Hadoop est 2.7.3

Aussi je suis en utilisant la valeur par défaut de l'Étincelle Interprète de Configuration(si l'Étincelle est configuré pour s'exécuter dans Local mode)

Suis-je manqué quelque chose?

PS : je suis en mesure de se connecter à l'allumage du Terminal à l'aide de spark-shell

OriginalL'auteur Raj | 2017-04-08

apache-spark apache-zeppelin

12

Juste maintenant, je suis à la solution de cette question pour Zeppelin-0.7.2:

Cause racine est : Spark essayer de l'installation de la Ruche contexte, mais hdfs services
n'est pas en cours d'exécution, c'est pourquoi HiveContext sont nuls et de jeter null
exception de pointeur.

Solution:

1. Le programme d'installation Saprk la Maison [facultatif] et HDFS.

2. Exécuter HDFS service

3. Redémarrez zeppelin serveur

OU

1. Aller à Zeppelin Interprète paramètres.

2. Sélectionnez Étincelle Interprète

3. zeppelin.spark.useHiveContext = false

Son est parfaitement travailler pour moi.
Le HiveContext il l'a fait pour moi aussi!
Cher @RajeevRathor et @BenjaminBaron, je n'ai pas l'intention d'être grossier, mais je suis sûr que upvoting la réponse sert le même but que l'écriture de ces commentaires. Lorsque vous passez la souris sur add a comment, le popup dit .. Avoid comments like "+1" or "thanks". pour info, cette solution ne fonctionne pas pour moi.

OriginalL'auteur
8

Enfin, je suis en mesure de trouver la raison. Lorsque j'ai vérifié les logs dans ZL_HOME/répertoire des journaux, il semble être la bougie d'Allumage Conducteur de liaison d'erreur. Ajout de la propriété Spark Interprète de Liaison et fonctionne bien maintenant...

PS : il Semble bien que ce problème arrive surtout si vous vous connectez à un VPN...et je ne vous connecter à un VPN

OriginalL'auteur
2

Vous avez droit SPARK_HOME? Me demandais ce que sk est dans votre
export SPARK_HOME="/${homedir}/sk"

(Je voulais juste commentaire ci-dessous votre question, mais ne pouvait pas, à cause de mon manque de réputation)

oui, c'est là que j'ai installé Étincelle :). c'est le répertoire Home de l'Étincelle de l'installation

OriginalL'auteur
0

résolu par l'ajout de cette ligne en haut du fichier common.sh
dir zeppelin-0.6.1 puis bin

ouvrir common.sh
et ajouter une commande dans le haut de jeu de fichiers :

unset CLASSPATH

OriginalL'auteur

    enterCaused by: java.net.ConnectException: Connection refused (Connection refused)
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at org.apache.thrift.transport.TSocket.open(TSocket.java:182)
        ... 74 more
)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:466)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:236)
        at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:74)
        ... 71 more
 INFO [2017-11-20 17:51:55,288] ({pool-2-thread-4} SparkInterpreter.java[createSparkSession]:369) - Created Spark session with Hive support
ERROR [2017-11-20 17:51:55,290] ({pool-2-thread-4} Job.java[run]:181) - Job failed code here

Il ressemble à la Ruche Metastore service n'a pas démarré. Vous pouvez démarrer le Metastore service et essayez à nouveau.

hive --service metastore

OriginalL'auteur

0

J'ai été faire exactement la même exception pour zepelline version 0.7.2 sur 7 de la fenêtre. J'ai eu à faire plusieurs changements dans la configuration pour le faire fonctionner.

Tout d'abord renommer le zeppelin-env.cmd.modèle de zeppelin-env.cmd. Ajouter l'env variable PYTHONPATH. Le fichier se trouve dans %ZEPPELIN_HOME%/dossier conf.
```
set PYTHONPATH=%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.4-src.zip;%SPARK_HOME%\python\lib\pyspark.zip
```
Ouvrir le zeppelin.cmd à partir de l'emplacement de %ZEPPELIN_HOME%/bin pour ajouter un %SPARK_HOME% et %ZEPPELIN_HOME%. Ceux-ci seront les premières lignes dans l'instruction. La valeur de %SPARK_HOME% a été configuré comme vide que je l'aide a été intégré à l'étincelle de la bibliothèque.J'ai ajouté %ZEPPELIN_HOME% pour s'assurer que cela env est configuré à l'étape initiale de démarrage.
```
set SPARK_HOME=
set ZEPPELIN_HOME=<PATH to zeppelin installed folder>
```
Prochaine, nous allons avoir à copier tous les jar et pySpark de l' %spark_home%/à zeppeline dossier.
```
cp %SPARK_HOME%/jar/*.jar %ZEPPELIN_HOME%/interpreter/spark
cp %SPARK_HOME%/python/pyspark %ZEPPELIN_HOME%/interpreter/spark/pyspark
```
Je n'ai pas de départ le interprète.cmd lors de l'accès à l'ordinateur portable. C'était à l'origine du nullpointer exception. J'ai ouvert deux invite de commande et dans un cmd j'ai commencé à zeppeline.cmd et dans l'autre interprète.cmd.

Nous devons spécifier deux autres à l'entrée du port et le chemin de zeppeline local_repo en ligne de commande. Vous pouvez obtenir le chemin d'accès à local_repo dans zeppeline étincelle interprète page. Utiliser exactement le même chemin pour démarrer l'interprète.cmd.
```
interpreter.cmd  -d %ZEPPELIN_HOME%\interpreter\spark\ -p 5050  -l %ZEPPELIN_HOME%\local-repoD64VMYZE
```
L'hôte et le port doit être spécifié dans l'étincelle interprète page dans zepelline de l'interface utilisateur. Sélectionnez la connexion de Processus externe
```
HOST : localhost
PORT : 5050
```
Une fois tous ces sur de configuration sont créés, sur la prochaine étape, nous pouvons enregistrer et redémarrer l'étincelle interprète. Créer un nouveau carnet de notes et de type sc.version.
Il publiera le spark version. Zeppeline 0.7.2 ne supporte pas l'étincelle 2.2.1

OriginalL'auteur
0

Sur AWS DME la question était de mémoire. J'ai dû régler manuellement valeur inférieure pour spark.executor.memory dans l'Interprète d'Étincelles à l'aide de l'INTERFACE utilisateur de Zeppelin.

La valeur varie en fonction de votre taille de l'instance.
Le mieux est de consulter les journaux situé dans le /mnt/var/log/zeppelin/ dossier.

Dans mon cas, l'erreur était:
```
Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (6144+614 MB) is above the max threshold (6144 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
```
Qui m'a aidé à comprendre pourquoi il n'était pas et ce que je peux faire pour résoudre le problème.

Remarque:

Ce qui s'est passé parce que j'ai été le démarrage d'une instance avec HBase ce qui limite la quantité de mémoire disponible. Voir les valeurs par défaut pour la taille de l'instance ici.

OriginalL'auteur
0

Vérifier si votre NameNode allé en mode sans échec.

vérifier avec la syntaxe suivante:
```
sudo -u hdfs hdfs dfsadmin -safemode get
```
pour le congé de la sécurité de l'utilisation du mode commande ci-dessous:
```
sudo -u hdfs hdfs dfsadmin -safemode leave
```
OriginalL'auteur
-2

Semble être un bug dans Zeppelin 0.7.1. Fonctionne très bien dans la 0.7.2.

Je pense que c'est un problème de configuration et va arriver avec n'importe quelle version de Zeppelin. J'ai vu cela dans Zeppelin 0.7.2

OriginalL'auteur

Vous devez vous connecter pour publier un commentaire.