Spark throws ClassNotFoundException lors de l'utilisation de --pots option

J'essayais de suivre l'Étincelle de l'application autonome exemple décrit ici
https://spark.apache.org/docs/latest/quick-start.html#standalone-applications

L'exemple fonctionnait bien avec l'invocation suivante:

spark-submit  --class "SimpleApp" --master local[4] target/scala-2.10/simple-project_2.10-1.0.jar

Cependant, quand j'ai essayé d'introduire certaines librairies tierces via --jars, il jette ClassNotFoundException.

$ spark-submit --jars /home/linpengt/workspace/scala-learn/spark-analysis/target/pack/lib/* \
  --class "SimpleApp" --master local[4] target/scala-2.10/simple-project_2.10-1.0.jar

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Exception in thread "main" java.lang.ClassNotFoundException: SimpleApp
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:300)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

Retrait de la --jars option et le programme s'exécute à nouveau (je n'ai pas fait de commencer à utiliser ces bibliothèques encore). Quel est le problème ici? Comment dois-je ajouter externes de pots?

InformationsquelleAutor chtlp | 2014-07-20
  1. 39

    Selon spark-submit's --help, le --jars option attend un virguleliste séparée des locaux pots à inclure sur le pilote et exécuteur testamentaire classpath.

    Je pense que ce qui se passe ici est que /home/linpengt/workspace/scala-learn/spark-analysis/target/pack/lib/* est en expansion dans un espaceliste séparée des jarres et la deuxième POT dans la liste est traitée comme l'application jar.

    Une solution est d'utiliser votre shell pour construire une liste séparée par des virgules des jarres; voici un moyen rapide de le faire en bash, basé sur cette réponse sur StackOverflow (voir cette réponse à des approches plus complexes qui gèrent les noms de fichiers contenant des espaces):

    spark-submit --jars $(echo /dir/of/jars/*.jar | tr ' ' ',') \
    --class "SimpleApp" --master local[4] path/to/myApp.jar
    • Merci Josh! C'était le problème.
    • Je viens de passer un peu de temps avec mon patron même suivi dans la Scala de source de et nous n'avons pas trouver cela MERCI!!! Cela pourrait-il ne pas être autonome, de question et de réponse? Je vais envoyer un rapport de bogue à l'encontre de l'étincelle soumettre docs page.
    • Bien sûr! Vous pouvez même soumettre une demande d'extraction de vous-même afin de mettre à jour la documentation; voir cwiki.apache.org/confluence/display/SPARK/Contributing+à+Spark
    • J'ai remarqué que même dans la 1.6.0 docs spark.apache.org/docs/latest/submitting-applications.html l' --référentiel et --paquets paramètres de préciser des virgules, mais il n'est pas clair pour les pots. Merci, soumis pull request avec les modifications suggérées, et posté cette question ici de la SORTE: stackoverflow.com/questions/34738296/...
    • Cela a fonctionné pour moi aussi. Merci.
    • Vous avez sauvé ma journée 🙂

    InformationsquelleAutor Josh Rosen
  2. 4

    Est votre SimpleApp classe dans un package? Il semble que vous devez inclure le nom complet du paquet dans la ligne de commande. Donc, si le SimpleApp classe est situé dans com.yourcompany.yourpackage, vous devez soumettre l'Étincelle de travail avec la classe "com.yourcompany.yourpackage.SimpleApp" au lieu de --classe "SimpleApp". J'ai eu le même problème et en changeant le nom complet et le nom de la classe, il fixe. Espérons que ça aide!

    • Pas de. Il était dans le package par défaut. J'ai juste essayé de le mettre dans un package spécifique, mais toujours pas de chance. Comme je l'ai dit, il n'a échoué lorsque j'ai essayé d'ajouter les librairies tierces, avec --pots option.
    InformationsquelleAutor Margaret Katherine McNulty-Bel