Bonjour le monde en zeppelin a échoué
Je viens d'installer apache zeppelin (construit à partir des dernières sources du repo git) et avec succès vu qu'il est en place et en cours d'exécution dans le port 10008.
J'ai créé un nouveau carnet de notes avec une seule ligne de code
val a = "Hello World!"
Et exécuter ce paragraphe et a vu l'erreur ci-dessous
java.net.ConnectException: Connexion refusée à
java.net.PlainSocketImpl.socketConnect(Native method) at
java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
au
java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
au
java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
à java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) à
java.net.Socket.connect(Socket.java:589) à
org.apache.l'épargne.de transport.TSocket.ouvert(TSocket.java:182)
org.apache.zeppelin.interprète.à distance.ClientFactory.créer(ClientFactory.java:51)
au
org.apache.zeppelin.interprète.à distance.ClientFactory.créer(ClientFactory.java:37)
au
org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60)
au
org.apache.commons.pool2.impl.GenericObjectPool.créer(GenericObjectPool.java:861)
au
org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435)
au
org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:363)
au
org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:139)
au
org.apache.zeppelin.interprète.à distance.RemoteInterpreter.init(RemoteInterpreter.java:137)
au
org.apache.zeppelin.interprète.à distance.RemoteInterpreter.getFormType(RemoteInterpreter.java:257)
au
org.apache.zeppelin.interprète.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:104)
au org.apache.zeppelin.carnet de notes.Le paragraphe.jobRun(Paragraphe.java:197)
au org.apache.zeppelin.le planificateur.Travail.exécuter(Job.java:170) à
org.apache.zeppelin.le planificateur.RemoteScheduler$JobRunner.exécuter(RemoteScheduler.java:304)
au
java.util.de façon concomitante.Les Exécuteurs$RunnableAdapter.appelez le(les Exécuteurs.java:511)
à java.util.de façon concomitante.FutureTask.exécuter(FutureTask.java:266)
java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
au
java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
au
java.util.de façon concomitante.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
au
java.util.de façon concomitante.ThreadPoolExecutor$Par Travailleur.exécuter(ThreadPoolExecutor.java:617)
à java.lang.Fil de discussion.exécution(Thread.java:745
La moindre idée?
Mon backend est spark 1.5 et j'ai vérifié par l'interface web de l'interprète qui zeppelin points à droite de spark et approproate étincelle.la maison.
source d'informationauteur Bala
Vous devez vous connecter pour publier un commentaire.
L'erreur peut être casued aussi du à une erreur s'est produite lors Zeppelin en essayant de créer l'interprète.
Zeppelin commence le interpretter dans un processus différent et tente de se connecter à l'aide de l'Épargne Protocole
Dans mon cas, j'ai cette erreur lorsque vous essayez d'affecter 5 GO pour le spark pilote dans l'étincelle de paramètres par défaut.conf
Il est résolu lorsque commentant cette ligne (ou de céder 4g ou moins)
Vous pourriez avoir un coup d'oeil à ce JIRA ZEPPELIN-305
MODIFIER:
Cette erreur peut être causée par une raison qui empêche l'Étincelle interprète processus de démarrage.
Récemment, j ai eu il lorsque vous essayez d'ajouter le JMX options de ZEPPELIN_JAVA_OPTS, qui cause l'interprète processus à utiliser le même port JMX comme le Zeppelin processus. Donner le "Port en cours d'Utilisation" erreur
Veuillez vérifier le Zeppelin journaux (par défaut, ils sont dans ZEPPELIN_DIR/logs pour voir ce qui se passe quand Zeppelin en essayant de démarrer Étincelle Interprète
J'ai eu ce problème quand
$SPARK_HOME
n'était pas correctementUne pile d'erreur comme [1] ci-dessous pourrait signifier beaucoup de choses différentes.
Zeppelin Serveur n'a pas pu se connecter à un interprète, parce qu'il n'a pas de début ou de mort. Il semble un Zeppelin bug comme il ne peut pas attraper quand interpreter.sh quitte sans la création d'un Zeppelin interprète processus, soumis https://issues.apache.org/jira/browse/ZEPPELIN-1984 de piste.
Dans tous nos cas avec différentes causes, véritable erreur n'était que revealable
si vous ajoutez
$ZEPPELIN_HOME/bin/interpreter.sh alors /tmp/interpreter.sh-*.fichier journal vous montrer réel problème.
[1]
Modifier. Une autre façon de révéler la véritable cause est de changer log4j pour voir la sortie de l'étincelle interprète processus, comme évoqué par Jeff dans ZEPPELIN-1984. Changer votre ZEPPELIN_HOME/conf/log4j.properies comme suit:
et redémarrez Zeppelin. Remarque: il peut produire de l'exploitation forestière excessive. Mon conseille d'ajouter quelques lignes à interpreter.sh ne nécessite pas le redémarrage de Zeppelin.
Également créé pull request (partiellement) à résoudre ce problème: https://github.com/apache/zeppelin/pull/1921
Mise à jour 1/24/2017. https://issues.apache.org/jira/browse/ZEPPELIN-1984 est fixé en master et sera invluded dans Zeppelin 0.8 libération. Deux correctifs importants font partie de ZEPPELIN-1984:
J'ai remarqué que l'url qui pointe vers étincelle n'était pas correcte. Une fois, j'ai corrigé, il fonctionne très bien. Merci quand même.
Eu le même problème lors de l' $YARN_QUEUE a été mal réglé
Cette question a été ouvert depuis un an maintenant, vous ne savez pas si la solution au problème a été réalisé. Récemment, je suis tombé sur une erreur similaire à l'aide de Fils d'Allumage sur Amazon EMR. Comme je l'ai débogué, j'ai réalisé que le suivant, et laisse les gens pour essayer de voir s'ils se trouvent dans la même chaussures(solution est basée sur les EMR, mais devrait être similaire sur d'autres offres)
À l'endo le même, on devrait être en mesure d'obtenir zeppelin fonctionne correctement avec un valide SparkContext. Espérons que cela a été utile
Dans mon cas,
(project-root)/node_modules/zeppelin/spark-2.0.2-bin-hadoop2.7
n'a pas été installé, pour une raison inconnue.rm -rf node_modules; npm cache clear; npm i
fixe.J'ai corrigé ce bug avec le changement de la spark-modle fil-cluster-à-fil-client, car il seted dans zepplin/conf/defalt.sh
J'ai exactement la même erreur lorsque j'essaye d'exécuter Zeppelin avec une Étincelle dans le même conteneur docker sur les micro instance dans Amazon ECS.
La source de l'erreur est visible dans le journal de sortie en %ZEPPELIN_HOME%/logs/*.et il a dit que Zeppelin n'a pas pu démarrer Étincelle interprète du fait de la faiblesse de la mémoire. Donc je l'ai déplacé mon menu fixe de l'image à l'instance avec plus de mémoire.
Dans mon cas, j'ai trois nœud dans mon cluster. Bien que dans trois d'entre eux l'étincelle a été installé, zeppelin a été installé que sur un seul d'entre eux.
Donc Dans zeppelin Interprète Menu --> Étincelle --> Edit --> Propriétés - > Maître
modification de ce paramètre à partir de fil-client à local[*] fixe mon problème.