Comment faire pour exécuter des fonctions jar externes dans spark-shell

J'ai créé un bocal package à partir d'un projet par ce fichier-arbre:

build.sbt
src/main
src/main/scala
src/main/scala/Tester.scala
src/main/scala/main.scala

où Testeur est une classe par une fonction (le nom est à imprimer()) et la principale a un objet pour exécuter imprime "Salut!" (à partir de l'étincelle documention)
créé un fichier jar par sbt avec succès et qui a bien l'étincelle soumettre

maintenant je veux l'ajouter dans spark-shell et l'utilisation Testeur de classe comme une classe à créer des objets et des ...
J'ai ajouté le fichier jar dans spark-par défaut.conf mais:

scala> val t = new Tester();
<console>:23: error: not found: type Tester
       val t = new Tester();

source d'informationauteur reza

  1. 20

    vous pouvez essayer en offrant des pots avec l'argument que ci-dessous

    ./spark-shell --jars pathOfjarsWithCommaSeprated

    Ou vous pouvez ajouter la configuration suivante en vous l'étincelle de paramètres par défaut.conf mais n'oubliez pas de retirer modèle à partir de la fin de l'étincelle, les valeurs par défaut

    spark.driver.extraClassPath  pathOfJarsWithCommaSeprated
  2. 2

    Si vous souhaitez ajouter un .jar au classpath après que vous avez entré spark-shell, utilisez :require. Comme:

    scala> :require /path/to/file.jar
Added '/path/to/file.jar' to classpath.