Spark: impossible de trouver CoarseGrainedScheduler
Ne suis pas sûr de ce qui est à l'origine de cette exception, l'exécution de mon Étincelle d'emploi après l'exécution de quelques heures.
Suis en cours d'exécution Étincelle 2.0.2
Toute astuce de débogage ?
2016-12-27 03:11:22,199 [shuffle-server-3] ERROR org.apache.spark.network.server.TransportRequestHandler - Error while invoking RpcHandler#receive() for one-way message.
org.apache.spark.SparkException: Could not find CoarseGrainedScheduler.
at org.apache.spark.rpc.netty.Dispatcher.postMessage(Dispatcher.scala:154)
at org.apache.spark.rpc.netty.Dispatcher.postOneWayMessage(Dispatcher.scala:134)
at org.apache.spark.rpc.netty.NettyRpcHandler.receive(NettyRpcEnv.scala:571)
at org.apache.spark.network.server.TransportRequestHandler.processOneWayMessage(TransportRequestHandler.java:180)
at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:109)
at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:119)
at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51)
at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)
at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEve--conf spark.dynamicAllocation.enabled=false est ce qui a résolu ce problème pour moi. _(ツ)_/Il n'est pas nécessaire de désactiver l'allocation dynamique. Évidemment, l'allocation dynamique contient des routines pour "dynamic dede l'allocation". Dans votre cas, les exécuteurs testamentaires de tuer plus tôt alors qu'il est nécessaire. Vous pouvez simplement augmenter la
spark.dynamicAllocation.executorIdleTimeout config pour résoudre ce problème. Donc, les exécuteurs testamentaires seront pas détruire de manière agressive.
OriginalL'auteur Adetiloye Philip Kehinde | 2016-12-27
Vous devez vous connecter pour publier un commentaire.
Ouais maintenant je sais que le sens de cette énigmatique exception, l'exécuteur testamentaire a été tué parce qu'il dépasse le conteneur seuil.
Il y a plusieurs raisons qui pourraient arriver, mais le premier coupable, c'est de vérifier votre travail ou essayez d'ajouter plus de nœuds/exécuteurs testamentaires de votre cluster.
il dépend toujours de la taille de vos données et la quantité de mémoire de l'exécuteur nécessite de le traiter. Si l'utilisation de la mémoire dépasse l'exécuteur-mémoire, votre conteneur se fait tuer et vous obtenez ce message d'erreur.
Je suis désolé, mais ce n'est pas une bonne réponse, surtout pour une question qui revient dans la première page des résultats de Google. "Vérifiez votre travail", pour quoi faire? Comme il s'est avéré, cette exception a été un leurre; que Vente dit, la vraie exception a été plus élevée dans le journal.
OriginalL'auteur Adetiloye Philip Kehinde
Fondamentalement, cela signifie qu'il y a une autre raison de l'échec.
Essayez de trouver d'autres exception dans votre travail de tous les journaux.
Voir la section "Exceptions" articles ici:
https://medium.com/@wx.london.cun/spark-on-yarn-f74e82ab6070
OriginalL'auteur Tomer
Il pourrait être un problème de ressource. Essayer d'augmenter le nombre de cœurs et exécuteur testamentaire et également d'attribuer plus de mémoire RAM à la demande, alors vous devez augmenter le numéro de la partition de votre CA par l'appel d'une répartition. Le nombre idéal de partitions dépend des paramètres précédents. Espérons que cette aide.
OriginalL'auteur Beniamino Del Pizzo
Pour moi, ce qui s'est passé quand j'ai spécifié un chemin qui n'existe pas pour un
spark.read.loadOu si je spécifie le format est mauvais pour l'entrée ieparquetau lieu decsv.Malheureusement, l'erreur est parfois silencieuse et arrive au-dessus de la trace de la pile. Parfois, cependant, vous pouvez trouver une autre série de traces de pile avec ce qui sera plus significative.
OriginalL'auteur Carlos Bribiescas