Pourquoi ne SparkContext au hasard à proximité, et comment voulez-vous redémarrer à partir Zeppelin?

Je travaille dans Zeppelin écrit étincelle, les requêtes sql, et parfois j'ai soudainement commencer à obtenir cette erreur (après ne pas changer de code):

Cannot call methods on a stopped SparkContext.

Alors la sortie est dit plus bas:

The currently active SparkContext was created at:

(No active SparkContext.)

De toute évidence, cela n'a aucun sens. Est-ce un bug Zeppelin? Ou suis-je en train de faire quelque chose de mal? Comment puis-je redémarrer le SparkContext?

Merci

Ce étincelle maître utilisez-vous?? est-il un fil de client?

OriginalL'auteur The Puma | 2016-02-19

  1. 13

    J'ai été confronté à ce problème une couple de fois.

    Si vous êtes à la configuration de votre maître, comme un fil de client, il peut être dû à l'arrêt /redémarrage du Gestionnaire de Ressources, l'interprète processus peut encore être en cours d'exécution, mais l'Étincelle Contexte (qui est un Fils de l'application) n'existe plus.

    Vous pouvez vérifier si l'Étincelle Contexte est toujours en cours d'exécution par la consultation de votre gestionnaire de Ressources de l'Interface web et de vérifier s'il existe une application nommée Zeppelin en cours d'exécution.

    Parfois le redémarrage de l'interpréteur de processus à partir de l'intérieur de Zeppelin (interprète onglet --> étincelle --> restart) permettra de résoudre le problème.

    D'autres moments, vous avez besoin de:

    • tuer l'Étincelle interprète processus en ligne de commande
    • retirer la bougie Interprète fichier PID
    • et la prochaine fois que vous démarrez un paragraphe, il va commencer de nouvelles étincelle contexte
    Je vous remercie pour votre réponse, je vais essayer ce lorsque je lance mon prochain cluster

    OriginalL'auteur user1314742

  2. 7

    Je suis confrontée au même problème de l'exécution de plusieurs emplois dans PySpark. Semble que dans Spark 2.0.0, avec SparkSession, quand je l'appelle spark.stop() SparkSession appels de suivi suivants:

    # SparkSession 
self._sc.stop()
# SparkContext.stop()
self._jsc = None

    Puis, lorsque j'essaie de créer un poste avec de nouvelles un SparkContext, SparkSession retour le même SparkContext qu'avant avec self.jsc = None.

    J'ai résolu le réglage de SparkSession._instantiatedContext = None après spark.stop() forcer SparkSession pour créer un nouveau SparkContext la prochaine fois que je demande.

    C'est pas la meilleure option, mais en attendant, c'est la résolution de mon problème.

    Ce sujet étincelle 1.6? Je ne pouvais pas trouver SparkSession ...
    SparkSession a été introduit dans spark 2.0.0.

    OriginalL'auteur Franzi

  3. 0

    J'ai remarqué ce problème de plus lors de l'exécution de pyspark commandes, même avec trivial déclarations de variables par une cellule d'exécution se bloque en cours d'exécution.
    Comme mentionné ci-dessus par user1314742, juste de le tuer pertinentes PID résout ce problème pour moi.

    par exemple:

    ps -ef | grep zeppelin

    C'est là que le redémarrage de l'Étincelle de l'interprète et le redémarrage zeppelin ordinateur portable ne résout pas le problème. Je suppose que parce qu'il ne peut pas contrôler le hung PID lui-même.

    OriginalL'auteur Alistair McIntyre

  4. -1

    Pourriez-vous vérifier votre mémoire pilote est assez ou pas assez ? J'ai résolu ce problème en

    1. agrandir mémoire pilote

    2. tune GC: 

      --conf spark.cleaner.periodicGC.interval=60 
--conf spark.cleaner.referenceTracking.blocking=false

    OriginalL'auteur Guoqing Geng